Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7664438B2 - 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム - Google Patents
[go: Go Back, main page]

JP7664438B2 - 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム - Google Patents

情報処理システム、情報処理方法、画像生成装置および画像生成プログラム Download PDF

Info

Publication number
JP7664438B2
JP7664438B2 JP2024012065A JP2024012065A JP7664438B2 JP 7664438 B2 JP7664438 B2 JP 7664438B2 JP 2024012065 A JP2024012065 A JP 2024012065A JP 2024012065 A JP2024012065 A JP 2024012065A JP 7664438 B2 JP7664438 B2 JP 7664438B2
Authority
JP
Japan
Prior art keywords
information
subject
image
bone
time point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2024012065A
Other languages
English (en)
Other versions
JP2025041498A (ja
Inventor
貴朗 白鳥
政之 京本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Priority to JP2024012065A priority Critical patent/JP7664438B2/ja
Publication of JP2025041498A publication Critical patent/JP2025041498A/ja
Application granted granted Critical
Publication of JP7664438B2 publication Critical patent/JP7664438B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Physics & Mathematics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Optics & Photonics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Description

本開示は、骨の状態の把握を支援する情報処理システムおよび情報処理方法に関する。
近年、コンピュータの計算を用いて、対象者の身体的情報等を推定または予測したりすることが提案されている。例えば、特許文献1には、機械学習モデルを用いて閉経後女性の将来の骨密度を予測する方法等が提案されている。
特開2019-200788号公報
この様なコンピュータの計算を用いて、対象者の身体的情報等を推定または予測する場合において、ユーザの利便性を向上させることが課題の一つとなっている。
上記の課題を解決するために、本開示の一態様に係る情報処理システムは、第1手法に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する第1取得部と、前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる前記対象者の骨に関する情報を示す第2情報を取得する第2取得部と、前記第1情報および前記第2情報を表示する表示画像を生成する生成部と、を備える。
また、本開示の一態様に係る情報処理方法は、第1手法に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する第1取得ステップと、前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる前記対象者の骨に関する情報を示す第2情報を取得する第2取得ステップと、前記第1情報および前記第2情報を表示する表示画像を生成する生成ステップと、を含む。
また、本開示の一態様に係るサーバ装置は、第1手法に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する第1取得部と、前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる前記対象者の骨に関する情報を示す第2情報を取得する第2取得部と、前記第1情報および前記第2情報を表示する表示画像を生成する生成部と、を備える。
本開示の各態様に係る表示装置、第1生成装置および第2生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを表示装置、第1生成装置および第2生成装置が備える各部(ソフトウェア要素)として動作させることにより表示装置、第1生成装置および第2生成装置をコンピュータにて実現させる表示装置、第1生成装置および第2生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本開示の範疇に入る。
本開示の一態様によれば、ユーザの利便性を向上させることができる。
本実施形態1に係る情報処理システムの一例の要部構成を示すブロック図である。 本実施形態1に係る表示装置における表示処理の流れの一例を示すフローチャートである。 本実施形態1に係る推測の基点となる時点より後の時点の対象者の骨密度の推測値を表示する表示画像の一例を示す図である。 本実施形態1に係る推測の基点となる時点より後の時点の対象者の骨密度の推測値を表示する表示画像の他の一例を示す図である。 本実施形態1に係る推測の基点となる時点より後の時点の対象者の骨密度の推測値を表示する表示画像の他の一例を示す図である。 本実施形態1に係る推測の基点となる時点より前の時点の対象者の骨密度の推測値を表示する表示画像の一例を示す図である。 本実施形態1に係る推測の基点となる時点より前の時点の対象者の骨密度の推測値を表示する表示画像の他の一例を示す図である。 本実施形態1に係る対象者の骨密度に関する情報と参照者の骨密度の推移とを表示する表示画像の一例を示す図である。 本実施形態1に係る対象者への治療開始のタイミングの変更に応じて推測値を表示する表示画像の一例を示す図である。 本実施形態1に係る対象者の骨密度の推測値の誤差範囲を表示する表示画像の一例を示す図である。 本実施形態1に係る対象者の骨密度の推測値の推測確率を表示する表示画像の一例を示す図である。 本実施形態1に係る推定値の推定に用いた医用画像および測定値に対応する測定結果を表示する表示画像の一例を示す図である。 本実施形態1に係る推定値に対応する医用画像の表示の例を示す図である。 本実施形態1に係る複数の部位のそれぞれの骨密度の推移を表示する表示画像の一例を示す図である。 本実施形態1に係る表示部に表示される表示画像に含まれる、骨折が生じる可能性が高い箇所を示す表示の一例を示す図である。 本実施形態2に係る情報処理システムの一例の要部構成を示すブロック図である。 本実施形態3に係る情報処理システムの一例の要部構成を示すブロック図である。
〔実施形態1〕
以下、本開示の一実施形態について、図1から図15を参照しながら詳細に説明する。
(概要)
はじめに、本実施形態の概要について、図1を用いて説明する。図1は本実施形態に係る情報処理システム1の一例の要部構成を示すブロック図である。図1に示すように、情報処理システム1は、測定装置2、撮像装置3および表示装置(画像生成装置)4を含む。
本実施形態では、測定装置2は対象者の骨を測定し、対象者の骨に関する第1情報を表示装置4に送信する。すなわち、表示装置4は、骨の測定に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する。ここで、第1情報は対象者の骨密度、骨量および骨質のうちの少なくとも1つに関する情報であってもよい。さらに、第1情報は対象者の骨密度の測定値を示す情報であってもよい。本実施形態では、第1情報が対象者の骨密度の測定値を示す測定情報431である例について説明するが、本開示に記載の「第1情報」に関する「骨密度」との記載は、「骨密度」、「骨量」および「骨質」うちの少なくとも1つと適宜解釈されてもよい。
本明細書では、「測定」との表現が「実測」を意味してもよい。また、「測定値」との表現が「実測値」を意味してもよい。
以下の説明では、外科的治療法の適用を検討される対象がヒトである場合(すなわち、「対象者」)を例に挙げて説明するが、対象はヒトには限られない。すなわち、本開示に係る「対象者」は、例えば、ウマ科、ネコ科、イヌ科、ウシ科またはブタ科等のヒト以外の哺乳動物であってもよい。そして、本開示は、下記の実施形態のうち、これらの動物に対しても適用可能な実施形態であれば、「対象者」、「患者」および「人」を「動物」と言い換えた実施形態も含むものである。
第1情報には、対象者が患っている病名を示す情報が含まれていてもよい。当該病名を示す情報は、骨粗鬆症、リウマチ、骨壊死(例えば、大腿骨頭壊死症など)、全身性硬化症、腎臓病および大理石骨病等の少なくとも1つを示す情報であってもよい。また、第1情報には、骨評価情報が含まれていてもよい。骨評価情報には、骨折リスク評価ツール(FRAX(登録商標);Fracture Risk Assessment Tool)により評価された情報が含まれていてもよい。
上述の骨密度は、骨の密度に関する値であればよい。骨密度は、例えば、単位面積当りの骨ミネラル密度(g/cm)、単位体積当りの骨ミネラル密度(g/cm)、YAM(%)、AGE(%)、Tスコア及びZスコアの少なくとも1種類によって表されてよい。YAMは、“Young Adult Mean”の略であって、若年成人平均パーセントや%YAM、YAM比等と呼称されることもある。AGEは、同年齢または同年代の骨密度の平均値と比べた値であってもよい。Tスコアは測定した骨密度を若年成人平均値と比較し若年成人の標準偏差で除した値である。また、Zスコアは、測定した骨密度を被検者と同年齢の平均値と比較し、同年齢の標準偏差で除した値である。骨密度は、これらの例示に限定されることはなく、例えば、独自の数値であってもよい。
上述の骨量とは骨密度に関連する指標であり、該骨量は骨格内の骨組織の量である。
上述の骨質としては、例えば、骨の統計的な性質、骨の形状的な性質、骨の力学的な性質、および骨の化学的な性質の少なくとも1つに基づくものを用いることができる。骨質は、後述する対象者の属性に関する情報を含んでいてもよい。骨質は、例えば、骨代謝マーカ、性別、人種、閉経の有無、年齢、皮質骨の状態、海綿骨の状態、海綿骨の骨梁の状態、疾病情報、骨評価情報、薬剤情報、骨折の有無、骨折の数、骨折の場所、及び骨折歴の少なくとも1つに基づくものを用いることができる。より具体的には、骨質は、例えば、骨形成マーカ、骨吸収マーカ、骨質マーカ(例えば、ビタミンKの値)、皮質骨の厚さ、骨梁の密度、骨梁の方向、および海綿骨構造指標(trabecular bone score)、の少なくとも1つを用いることができる。
撮像装置3は対象者の医用画像を示すデータである医用画像データ432を表示装置4に送信する。
医用画像は、例えば、頚部、胸部、腰部、大腿骨近位部、膝関節、足首関節、肩関節、肘関節、手首関節、指関節または顎関節の少なくとも一部が写る画像であればよい。X線画像には、骨以外の部位が写っていてもよい。例えば、胸部単純X線像の場合には、肺を撮影したものと、胸椎を撮影したものを含んでいてもよい。X線画像は、対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。
表示装置4は、当該医用画像を用いて、対象者の骨に関する第2情報を推定する。ここで、第2情報は、対象者の骨密度、骨量および骨質のうちの少なくとも1つに関する情報であってもよい。さらに、第2情報は対象者の骨密度、骨量および骨質のうちの少なくとも1つの推定値を示す情報であってもよい。すなわち、表示装置4は、対象者に対して、第1手法とは異なる第2手法に基づいて得られる対象者の骨に関する情報を示す第2情報を取得する。ここで、第1手法は対象者の骨についての測定であってもよい。また、第2手法は対象者の骨についての推定であってもよい。
例えば、第1手法は、骨についての測定を行う実測装置を備える病院にて行われた測定であってもよい。第2手法は、当該実測装置を有さない病院にて撮像された医用画像からの推定であってもよい。第1手法と第2手法は、例えば、それぞれ異なる病院にて実行されてもよい。
本実施形態では、第2情報が対象者の骨密度の推定値を示す推定情報433である例について説明するが、本開示に記載の「第2情報」に関する「骨密度」との記載は、「骨密度」、「骨量」および「骨質」うちの少なくとも1つと適宜解釈されてもよい。
骨の測定に基づいて得られる対象者の骨に関する情報を示す第1情報および骨の推定に基づいて得られる第2情報の他の例を以下に挙げる。
当該骨が脊椎または椎間板の骨を主に含む場合について説明する。この場合、第1情報および第2情報としては、例えば、椎体高、椎体間距離、前方椎間板腔距離、後方椎間板腔距離、不良姿勢分類、骨化占拠率(脊柱管前後径に対する骨化靱帯の厚さの割合)、残余有効前後径(脊柱管前後径と骨化靱帯との間の厚さ)、椎体後方すべり距離(上位椎椎体後下角と下位椎椎弓先端との距離)およびMeyerding分類の少なくとも何れかを示す情報を挙げることができる。
上記情報によって診断可能な疾患としては、例えば、変形性脊椎症、椎体骨折(外傷性、骨粗鬆症性含む)、脊柱管狭窄症、ヘルニア、変性すべり症、側弯症、胸椎・腰椎変性性疾患、両側性先天性股関節脱臼、脊柱靭帯骨化症等を挙げることができる。
当該骨が股の骨を主に含む場合について説明する。この場合、第1情報および第2情報としては、例えば、関節裂隙面積、関節裂隙距離(幅)、最小関節裂隙距離(幅)、CE角(Center Edge角:骨頭中心を通る垂線と骨頭中心と寛骨臼外側縁を結んだ線とのなす角)、Sharp角(Acetabular Angle:寛骨臼外側縁と涙痕先端を結ぶ線と両側涙痕を結んだ線とのなす角)、ARO(Acetabular Roof Obliquity:寛骨臼底を通る水平線と臼蓋外側縁と臼蓋底を結んだ線とのなす角)、AHI(Acetabular Head Index:大腿骨頭内側端から寛骨臼外側端までの距離を大腿骨頭横径で除したもの)、Kellgren-Lawrence(KL)分類の少なくとも何れかを示す情報を挙げることができる。
上記情報によって診断可能な疾患としては、例えば、変形性股関節症(OA)、大腿骨寛骨臼インピンジメント(OAの病態の一つ)、股関節形成不全、股関節脱臼(先天性含む)、大腿骨すべり症、大腿骨頭壊死等を挙げることができる。
当該骨が膝の骨を主に含む場合について説明する。この場合、第1情報および第2情報としては、例えば、関節裂隙面積、関節裂隙距離(幅)、最小関節裂隙距離(幅),骨棘面積,大腿脛骨角(大腿脛骨外側角)、Osteoarthritis Research Society International(OARSI)分類、Kellgren-Lawrence(KL)分類の少なくとも何れかを示す情報を挙げることができる。上記情報によって、例えば、変形性膝関節症(OA)の診断が可能になる。
当該骨が足の骨を主に含む場合について説明する。この場合、第1情報および第2情報としては、距骨傾斜角および距骨前方引き出し距離の少なくとも何れかを示す情報であってもよい。上記情報によって診断可能な疾患は、例えば、足関節捻挫、距骨壊死症、関節リウマチ、足関節インピンジメント症候群等を挙げることができる。
表示装置4は、第1情報および第2情報を表示する表示画像を生成する。本実施形態では、表示装置4が、測定情報431が示す対象者の骨密度の測定値および推定情報433が示す対象者の骨密度の推定値を表示する表示画像を生成する例について説明する。
前記構成によれば、情報処理システム1は複数の異なる手法、例えば、測定と推定との手法とに基づいて得られる対象者の骨に関する情報を表示する表示画像を生成することができる。すなわち、医療現場において、対象者の骨に対して、所定の測定装置を用いた測定を定期的に行わずとも、測定とは異なる方法である推定等を利用することによって対象者の骨の状態の推移を把握することができる。例えば、対象者の骨の状態の推移とは、対象者の骨密度、骨量および骨質のうちの少なくともいずれか1つの推移であってもよい。
前記画像に表示される対象者の測定値は、第1時点において測定された対象者の骨密度、骨量および骨質のうちの少なくともいずれか1つの測定値であってもよい。また、前記画像に表示される対象者の推定値は、第1時点とは異なる第2時点における対象者の骨が写る医用画像から表示装置4が備える推定モデル4221等によって推定された、推定値であってもよい。当該推定値は、骨密度、骨量および骨質のうちの少なくともいずれか1つの推定値であってもよい。表示装置4は対象者の前記測定値および前記推定値を、第1時点および第2時点の時系列順に並べた表示画像を生成してもよい。
前記構成によれば、情報処理システム1は測定された第1時点における対象者の骨に関する情報と、推定された第2時点における対象者の骨に関する情報と、を第1時点および第2時点に基づく時系列順に並べた画像を生成する。すなわち、対象者の骨密度、骨量および骨質のうちの少なくともいずれか1つの測定値と推定値とを時系列順に並べた画像を生成することができる。
(情報処理システム1)
次に、本実施形態に係る情報処理システム1の詳細について説明する。上述のように、情報処理システム1は、測定装置2、撮像装置3および表示装置4を含む。
≪測定装置2≫
測定装置2は、対象者の骨密度を測定する装置である。測定装置2は、対象者の骨密度を測定できる装置であればよく、特に限定されないが以下を例に挙げることができる。
例えば、測定装置2はDXA(Dual energy X-ray Absorptiometry)法、超音波法またはMD(micro densitometry)法を用いて骨密度を測定する装置であってもよい。
測定装置2は対象者の骨密度の測定値を示す測定情報431を表示装置4に送信する。すなわち、測定情報431は、骨について測定を実行する所定の測定装置を用いて測定された情報と換言することができる。測定情報431には測定が行われた日時を示す情報が含まれていてもよい。測定装置2と表示装置4との通信は、有線による通信であってもよいし、無線による通信であってもよい。また、当該通信はインターネットを介した通信であってもよい。
≪撮像装置3≫
撮像装置3は、例えば、対象者の体内の情報を取得するために撮影する機器であればよい。撮像装置3は、対象者の医用画像を撮像する装置である。撮像装置3が撮像する医用画像は、対象者の骨の情報が含まれる画像であればよく、特に限定されないが以下を例に挙げることができる。
例えば、医用画像は、X線画像、MRI(magnetic resonance imaging)画像、CT(computed tomography)画像、PET(Positron Emission Tomography)画像、または超音波画像であってもよい。
撮像装置3は撮像した医用画像を示すデータである医用画像データ432を表示装置4に送信する。医用画像データ432には、当該医用画像の撮像が行われた日時を示す情報が含まれていてもよい。撮像装置3と表示装置4との通信は、有線による通信であってもよいし、無線による通信であってもよい。また、当該通信はインターネットを介した通信であってもよい。
≪表示装置4≫
表示装置4は、対象者の骨密度の測定値および対象者の骨密度の推定値を表示する表示画像を生成し、当該画像を表示する。表示装置4は、通信部41、制御部42、記憶部43、操作入力部44および表示部45を備えている。
<通信部41>
通信部41は、測定装置2および撮像装置3と通信を行う。通信部41は、測定装置2から測定情報431を受信する。また、通信部41は、撮像装置3から医用画像データ432を受信する。
<制御部42>
制御部42は、表示装置4の各部を統括して制御する。制御部42は、取得部421(第1取得部)、第1生成部422、操作受付部423、画像生成部(生成部)424、情報取得部(第1取得部、第2取得部、第3取得部)425、表示制御部426および第2生成部427を含む。
《取得部421》
取得部421は、通信部41を介して、測定装置2から測定情報431を取得する。また、取得部421は、通信部41を介して、撮像装置3から医用画像データ432を取得する。
取得部421は、取得した測定情報431および医用画像データ432を記憶部43に格納する。また、取得部421は取得した医用画像データ432を第1生成部422に送信する。
《第1生成部422》
第1生成部422は、取得部421から受信した対象者の医用画像データ432が示す医用画像(第1画像)から推定される対象者の骨密度の推定値を示す推定情報433を生成する。第1生成部422は、生成した推定情報433を記憶部43に格納する。第1生成部422は推定モデル4221を備える。
〈推定モデル4221〉
推定モデル4221は、対象者の医用画像データ432が示す医用画像から対象者の骨密度を推定するモデルである。推定モデル4221は、第1の人の骨が写る医用画像(第2画像)を含む学習データと、第1の人の骨密度、骨量および骨質のうちの少なくとも1つの値を含む教師データとに基づいて設定されてもよい。すなわち、推定モデル4221は、学習済(trained)モデルである。
例えば、学習データに含まれる複数の学習画像データのそれぞれに対して、当該学習画像データが示す学習用単純X線像に写る骨を有する人の骨密度が教師データとして対応付けられていてもよい。教師データの骨密度は、DXA(Dual energy X-ray Absorptiometry)法、超音波法またはMD(micro densitometry)法を用いて得た骨密度であってもよい。また、上述の「第1の人」は、特に、ヒトに限定されなくてもよい。例えば、「対象者」と同種の動物であってもよい。
《操作受付部423》
操作受付部423は、操作入力部44を介したユーザによる操作入力を受け付ける。操作受付部423は、対象者の骨に関する情報を表示する表示画像の表示を指示する操作入力を受け付ける。操作受付部423は当該操作入力を受け付けると、画像生成部424に画像の生成を指示する。
操作受付部423は、対象者の骨に関する推測を指示する操作入力を受け付ける。操作受付部423は当該操作入力を受け付けると、第2生成部427に対象者の骨に関する推測を示す推測情報434の生成を指示する。さらに、操作受付部423は、画像生成部424に推測情報434を表示する表示画像の生成を指示する。
操作受付部423は、表示終了を指示する操作入力を受け付ける。操作受付部423は当該操作入力を受け付けると、表示制御部426に表示終了を指示する。
《画像生成部424》
画像生成部424は、対象者の骨に関する情報を表示する表示画像の生成の指示を受信すると、情報取得部425を介して記憶部43の測定情報431および推定情報433を取得する。画像生成部424は測定情報431および推定情報433を用いて対象者の骨に関する情報を表示する表示画像を生成する。
画像生成部424は、推測情報434を表示する表示画像の生成の指示を受信すると、情報取得部425を介して記憶部43の測定情報431、推定情報433および推測情報434を取得する。画像生成部424は測定情報431、推定情報433および推測情報434を用いて対象者の骨に関する情報を表示する表示画像を生成する。
画像生成部424は、生成した表示画像のデータを表示制御部426に送信する。画像生成部424が生成する表示画像の例の詳細については後述する。
《情報取得部425》
情報取得部425は、画像生成部424の指示に応じて、記憶部43に格納されている測定情報431および推定情報433を取得し、画像生成部424に送信する。
情報取得部425は、画像生成部424の指示に応じて、記憶部43に格納されている測定情報431、推定情報433および推測情報434を取得し、画像生成部424に送信する。
《表示制御部426》
表示制御部426は、画像生成部424から受信した画像データが示す表示画像を表示部45に表示させる。
表示制御部426は、操作受付部423から受信した表示終了の指示に応じて、表示部45の画像表示を終了させる。
《第2生成部427》
第2生成部427は、記憶部43に格納されている医用画像データ432が示す医用画像から推測される対象者の骨密度の推測値を示す推測情報434を生成する。
例えば、第2生成部427は、対象者の骨密度、骨量および骨質のうちの少なくともいずれか1つが測定された第1時点における対象者の骨が写る医用画像から推測された骨密度、骨量および骨質のうちの少なくともいずれか1つに関する推測情報434を生成してもよい。本実施形態では、推測情報434が対象者の骨密度の推測値を示す例について説明するが、本開示に記載の「推測情報434」との記載は、「骨密度」、「骨量」および「骨質」うちの少なくとも1つを示す情報と適宜解釈されてもよい。
ここで、第1時点における骨密度の測定と第1時点における対象者の骨が写る医用画像の撮像とは、厳密に同時に行われたものでなくてもよい。例えば、所定の期間内において、当該測定と当該撮像とが行われればよい。前記所定の期間は、対象者の骨密度に顕著な変化が生じない期間であればよく特に限定されないが、例えば、半日、1日、1週間、1ヶ月、3ヶ月、6ヶ月などを例として挙げることができる。また、第1時点において、対象者の骨が写る医用画像が撮像されていない場合、表示装置4は、第1時点における対象者の骨が写る医用画像を示す医用画像データ432を受信しなくてもよい。すなわち、表示装置4は、第1時点において、対象者の骨が写る医用画像が撮像されている場合に、第1時点における対象者の骨が写る医用画像を示す医用画像データ432を受け付けてもよい。本明細書では、推測情報434の生成に用いられる医用画像が撮像された時点を推測の基点と呼称する。当該推測情報434は第3時点の対象者の骨密度の推測値を示す情報であってもよい。第3時点は、第1時点と異なる時点であってもよい。
第2生成部427は、第1生成部422が対象者の骨密度の推定値の推定に用いた第2時点における対象者の骨が写る医用画像から推測された、対象者の骨密度に関する推測情報434を生成してもよい。当該推測情報434は、第3時点の対象者の骨密度の推測値を示す情報であってもよい。第3時点は、第2時点と異なる時点であってもよい。
画像生成部424が推測情報434を用いて画像を生成する場合、画像生成部424は、第3時点と対応付けられた推測情報434を表示する表示画像を生成してもよい。
第2生成部427は、操作受付部423から受信した対象者の骨に関する推測を示す推測情報434の生成の指示に応じて、推測情報434を生成してもよい。第2生成部427は、生成した推測情報434を記憶部43に格納する。また、第2生成部427は推測モデル4271を備える。
〈推測モデル4271〉
推測モデル4271は、対象者の医用画像データ432が示す医用画像から、当該医用画像が撮像された時点とは異なる時点の対象者の骨密度を推測するモデルである。推測モデル4271は、第2の人の骨が写る医用画像(第3画像)を含む学習データと、第2の人の骨密度を含む教師データとに基づいて設定されてもよい。上述の「第2の人」は、特に、ヒトに限定されなくてもよい。例えば、「対象者」と同種の動物であってもよい。
例えば、学習データに含まれる複数の学習画像データに対して、当該学習画像データが示す学習用単純X線像に写る骨を有する人の骨密度が教師データとして対応付けられている。複数の学習画像データそれぞれに教師データが対応付けられていてもよいし、1つの教師データに複数の学習画像データを対応付けたものを複数用意してもよい。教師データは、DXA(Dual energy X-ray Absorptiometry)法、超音波法またはMD(micro densitometry)法を用いて得た骨密度であってもよい。または教師データに別の学習済み(trained)モデルから推定または推測した値を用いてもよい。
教師データは、任意の時期に測定されたものを用いることができる。教師データは、学習用画像データが撮影された時期と同時期に測定されたものであってもよいし、異なる時間軸に測定されたものであってもよい。例えば、教師データの測定には、学習用画像データが撮影された時期に対する所定の基準を設定してもよい。所定の基準としては、例えば、学習用画像データが撮影された時期に対して、過去を含め3か月以内、6か月以内、1年以内を用いることができる。また、教師データの所定の基準としては、教師データにおける被験者の薬剤治療の有無、年齢、閉経および性別の少なくとも1つであってもよい。
学習データの学習用画像データは、異なる時間軸において同一人物を撮影した一連の画像データであってもよい。すなわち、学習用画像データは、以下の第1学習データおよび第2学習データを含んでいてもよい。当該第1学習データは、ある人物の骨のX線画像を含む学習データであってもよい。当該第2学習データは、前記ある人物と同一人物の画像であって、第1学習データよりも後に撮影されたX線画像を含む学習データであってもよい。
学習データの学習用画像データは、他人の同一部位を撮影し、年齢等の異なるデータ群であってもよい。また、学習データの学習用画像データは、異なる時間軸において同一人を撮影した一連の画像データであってもよい。学習データの学習用画像データは、異なる時間軸において同一部位を撮影した一連のデータであってもよい。
第2生成部427が生成する推測情報434は、対象者に対して骨密度についての治療が行われた場合の対象者の骨密度に関する情報であってもよい。この場合、上述の第2の人は、骨密度についての治療を受けた人であり、推測モデル4271は、治療を受けた第2の人の骨が写る医用画像を含む学習データと、第2の人の骨密度の値を含む教師データとに基づいて設定されてもよい。例えば、上述の学習データは、治療前後の医用画像を含む学習データであってもよい。また、上述の教師データは、治療前後の骨密度の測定値を含む教師データであってもよい。
第2生成部427は、推測モデル4271として、以下の2つのモデルを備えていてもよい。(1)治療を受けた第2の人の骨が写る医用画像を含む学習データと、治療を受けた第2の人の骨密度の測定値を含む教師データとに基づいて設定されたモデル。(2)治療を受けていない第2の人の骨が写る医用画像を含む学習データと、治療を受けていない第2の人の骨密度の測定値を含む教師データとに基づいて設定されたモデル。
第2生成部427は、対象者の治療が開始されるタイミングに応じた推測情報434を生成してもよい。
また、対象者の骨密度の推測に用いる医用画像データ432が示す医用画像が第1時点における画像である場合、第3時点は、第1時点より前の時点、または第1時点より後の時点であってもよい。また、対象者の骨密度の推測に用いる医用画像データ432が示す医用画像が第2時点における画像である場合、第3時点は、第2時点より前の時点、または第2時点より後の時点であってもよい。
推定モデル4221の学習データである第1の人の骨が写る医用画像(第2画像)と推測モデル4271の学習データである第2の人の骨が写る医用画像(第3画像)は同じ画像であってもよい。
第2画像と第3画像は別の部位を撮像した医用画像であってもよい。第2画像において撮像された人物と第3画像において撮像された人物は同一人物であってもよい。また、第2画像において撮像された人物と第3画像において撮像された人物は別の人物であってもよい。
第2の人の骨密度の測定値を含む教師データは、第3画像が撮影された時点と異なる時点に測定されたデータであってもよい。例えば、教師データを、第3画像が撮影された6か月後、1年後、数年後および数年前のデータのうちの少なくとも1つとしてもよい。また、学習データを、第3画像が撮影された時点を含む所定の期間に測定された骨密度の測定値としてもよい。
<記憶部43>
記憶部43は、上述した、測定情報431、医用画像データ432、推定情報433および推測情報434を格納している。また、記憶部43は、対象者についての情報を示す対象者データを格納してもよい。当該対象者データには、対象者に対する治療の有無、対象者に対して行われた治療の期間、対象者に対して行われた治療の内容、対象者が怪我をした日時等を示すデータが含まれていてもよい。
<操作入力部44>
操作入力部44はユーザの操作入力を受け付ける。例えば、操作入力部44は表示部45と一体になっていてもよい。表示部45は制御部42が行う処理である対象者の骨密度の推測処理、画像生成処理および画像表示処理等の指示を表示してもよい。ユーザがこれらの表示領域を選択することによって、表示領域に対応する処理が実行される構成としてもよい。
<表示部45>
表示部45は、画像生成部424が生成した画像をユーザに表示する。表示部45の例としては、ディスプレイ、モニタ等が挙げられる。
(表示処理の流れ)
次に、図2を参照して、表示装置4における表示処理の流れを説明する。図2は、表示装置4における表示処理の流れの一例を示すフローチャートである。図2に示すように、操作受付部423が対象者の骨に関する情報を表示する表示画像の表示を指示する操作入力を受け付けた場合(S1でYES)、情報取得部425は以下の処理を行う。
情報取得部425は、測定情報431を取得する(S2:第1取得ステップ)。また、情報取得部425は、推定情報433を取得する(S3:第2取得ステップ)。例えば、前記第1情報は、第1時点において測定された対象者の骨密度を示す情報であり、前記第2情報は、第1時点とは異なる第2時点における対象者の骨が写る第1画像から推定モデルによって推定された骨密度を示す情報であってもよい。続いて、画像生成部424は測定情報431が示す測定値および推定情報433が示す推定値を表示する表示画像を生成する(S4:生成ステップ)。続いて、表示制御部426は、画像生成部424が生成した表示画像を表示部45に表示させる(S5)。
操作受付部423が対象者の骨に関する推測を指示する操作入力を受け付けた場合(S6でYES)、情報取得部425は、推測情報434を取得する(S7)。当該操作入力に、推測の基点となる時点を示す入力および当該推測が基点となる時点からいつの推測であるかを示す入力が含まれてもよい。例えば、特に限定はされないが、基点となる時点から半年後の推測、基点となる時点から1年後の推測、基点となる時点から半年前の推測、基点となる時点から1年前の推測等を例として挙げることができる。また、当該操作入力には、対象者に対する治療の有無に関する入力が含まれてもよい。例えば、当該推測は、対象者に対して治療が行われた場合の推測、治療が行われない場合の推測、治療が行われた場合と治療が行われない場合との両方の推測等を例として挙げることができる。また、当該操作入力には、対象者に対する治療の開始のタイミングに関する入力が含まれてもよい。例えば、当該推測は、対象者に対する治療の開始のタイミングに応じた推測であってもよい。
続いて、画像生成部424は推測情報434が示す推測値を表示する表示画像を生成する(S8)。そして、処理はS5に戻る。
操作受付部423が対象者の骨に関する推測を指示する操作入力を受け付けず(S6でNO)、表示終了を指示する操作入力を受け付けた場合(S9でYES)、処理は終了する。
操作受付部423が対象者の骨に関する情報を表示する表示画像の表示を指示する操作入力を受け付けていない場合(S1でNO)、S1の処理が繰り返される。
操作受付部423が対象者の骨に関する推測を指示する操作入力を受け付けず(S6でNO)、表示終了を指示する操作入力を受け付けていない場合(S9でNO)、処理はS6に戻る。
(画像生成部424が生成する表示画像の例)
次に、画像生成部424が生成する表示画像の例について、図3から図9を参照して説明する。また、図3から図9に示す「骨密度」との記載は、「骨密度」、「骨量」および「骨質」うちの少なくとも1つと適宜解釈されてもよい。
≪推測の基点となる時点より後の時点の推測値を表示する表示画像の例≫
はじめに、推測の基点となる時点より後の時点の推測値を表示する表示画像の例について説明する。図3から図5は、推測の基点となる時点より後の時点の対象者の骨密度の推測値を表示する表示画像の一例を示す図である。
図3に示す画像D1には、測定を行った時点における対象者の骨密度の測定値m1-m3、医用画像が撮像された時点における対象者の骨密度の推定値n1-n2および測定値m1-m3と推定値n1-n2とに基づく骨密度の推移T1が示されている。また、画像D1には、前記医用画像が撮影された施設名が表示されていてもよい。
対象者の骨密度の測定値の表示態様は、対象者の骨密度の推定値の表示態様とは異なる表示態様で示されてもよい。異なる表示態様とは、例えば、当該測定値は白抜きの円で示されてもよい。当該推定値は黒色の円で示されてもよい。
画像D1には推測値o1および推測値o2が表示されている。測定値、推定値および推測値はそれぞれ異なる表示態様で表示されてもよい。図3に示す例では、推測値o1およびo2は白抜きの三角形で示されている。推測値には点線が連結して示されており、該点線の終点に推測値が示されている。当該点線の始点は推測の基点となる時点を示している。
画像D1において、推測値o1は、2021年12月21日の時点を推測の基点とした推測値である。推測値o1は2021年12月21日の時点で撮像された医用画像から推測された推測値である。また、推測値o1は当該基点の2か月後である2022年2月21日の時点における対象者の骨密度の推測値である。
推測値o2は現在を推測の基点とした推測値であり、現在にて撮像された医用画像から推測された推測値である。また、推測値o2は現在から半年後の時点における対象者の骨密度の推測値である。
ある時点において、対象者の骨密度の測定が行われた場合、画像D1に表示される該ある時点の測定値は、測定によって得られた対応する測定情報431が示す測定値となる。一方で、該ある時点と同一の時点を推測の基点とする場合、画像D1に表示される該ある時点を推測の基点とする推測値は、該ある時点において撮像された医用画像から推測された推測値となる。
各測定値、各推定値および各推測値には、「測定値」、「推定値」および「推測値」の表記が表示されてもよい。また、画像D1には、表示される値を得た手法が表記されもよい。当該手法とは、例えば、「測定」、「推定」、「推測」等を挙げることができる。すなわち、画像生成部424は、前記第1手法および前記第2手法を示す表示を含む表示画像を生成してもよい。このように手法が表記されていることにより、ユーザの利便性を向上させることができる。また、画像D1には骨密度に対応する値であるYAM(Young Adult Mean)比が表示されている。画像D1には、YAM比は診断基準を示す値であり、YAM比100%から80%の領域には「正常」、YAM比80%から70%の領域には「骨量減少」、YAM比70%よりも低い領域には「骨粗鬆症」の表記が表示されている。
画像D1には、単位面積当りの骨ミネラル密度(g/cm)、単位体積当りの骨ミネラル密度(g/cm)、AGE、Tスコア及びZスコアのうちの少なくとも1種類が表示されてもよい。例えば、AGEとしては、同年齢または同年代の骨密度の平均値と比べた値によって表示されてよい。これらの値において所定の基準に応じたカテゴリーがわかるような画像D1であってもよい。カテゴリーは、これらの値に応じた「正常」、「骨量減少」および「骨粗鬆症」などを用いることができる。例えば、Tスコアが画像D1に表示される場合、-1.0以上のTスコアを正常骨密度として表示し、-1.0から-2.5のTスコアを低骨密度または骨減少症として表示し、-2.5以下のTスコアを骨粗鬆症として表示してもよい。また、Zスコアが画像D1に表示される場合、Zスコアが-2.0より低い場合は年齢相応より低いことが表示され、Zスコアが-2.0を超えると年齢相応よりも高いことが表示されてもよい。
第2生成部427は、対象者の骨密度が、YAM比、TスコアまたはZスコアにおける、「正常」、「低骨密度または骨減少症」または「骨粗鬆症」に達する時期を推測してもよい。すなわち、第2生成部427は、当該時期を示す推測情報434を生成してもよい。一例として、推測情報434は、対象者の骨密度が、YAM比70%以下(骨粗鬆症)に達するのが1年後等であることを示す。
すなわち、画像生成部424は、骨密度に対する判定基準を示す情報を表示する表示画像を生成する。また、当該判定基準を示す情報は、対象者の年齢に応じた判定基準を示す情報であってもよい。また、当該判定基準を示す情報は、独自基準または既に周知のガイドラインなどに基づいた判定基準を示す情報であってもよい。
<対象者が治療を受けた場合の推測値を表示する例1>
次に、対象者が治療を受けた場合の対象者の骨密度の推測値を表示する表示画像の例について、図4を参照して説明する。図4は対象者が治療を受けた場合の対象者の骨密度の推測値を表示する表示画像の一例を示す図である。図4に示す画像D2には、測定を行った時点における骨密度の測定値m1-m3、医用画像が撮像された時点における対象者の骨密度の推定値n1-n2およびこれらの測定値と推定値とに基づく骨密度の推移T1が示されている。画像D2について、上述した画像D1にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。
画像D2には推測値o1、推測値o2および推測値o3が表示されている。画像D2に表示されている、推測値o1および推測値o2は対象者が治療を受けていない場合の推測値である。
推測値o3は対象者が治療を受けた場合の推測値である。画像D2には「薬剤療法」の表示が現在の時点に示されている。当該表示は「薬剤療法」が、現在から開始されることを示している。すなわち、推測値o3は、現在から対象者に対して治療である「薬剤療法」が開始された場合の半年後の推測値である。
図4に示す例では、対象者が治療を受けていない場合の推測値である推測値o1および推測値o2を白抜きの三角形で示している。また、対象者が治療を受けている場合の推測値である推測値o3を黒色の三角形で示している。
前記の構成によれば、治療の有効性を、ユーザに視覚的に認識させることができる。
本例では、現在から対象者に対して治療である「薬剤療法」が開始された場合の半年後の推測値を表示する表示画像の例について説明した。一方で、画像は現在よりも前の時点、すなわち過去の時点にて対象者に対して治療が行われた場合の対象者の骨密度の推測値を表示してもよい。
<対象者が治療を受けた場合の推測値を表示する例2:治療期間を表示>
次に、対象者が治療を受けた場合の対象者の骨密度の推測値を表示する表示画像の他の例について、図5を参照して説明する。図5は対象者が治療を受けた場合の対象者の骨密度の推測値を表示する表示画像の他の一例を示す図である。図5に示す画像D3には、測定を行った時点における骨密度の測定値m1、測定値m11-m12、医用画像が撮像された時点における対象者の骨密度の推定値n1-n2およびこれらの測定値と推定値とに基づく骨密度の推移T2が示されている。画像D3について、上述した画像D1-画像D2にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。
画像D3には、対象者に対して実際に行われた治療の期間を示す表示p1が表示されている。表示p1は治療の期間として、2022年2月21日から現在までを示している。すなわち、画像生成部424は、対象者に対する骨密度についての治療の期間を示す情報を表示する表示画像を生成してもよい。また、画像D3には、治療の内容を示す情報が表示されてもよい。また、画像D3には対象者が怪我をした対象者が怪我をした日時を示す表示p2が表示されている。画像生成部424は、対象者に関する情報である表示p1および表示p2等を表示する表示画像を、記憶部43が格納している対象者データを用いて生成してもよい。治療の期間を示す表示p1および対象者が怪我をした日時を示す表示p2の表示について、表示装置4は、当該表示が必要であるか不要であるかの選択の操作入力を受け付けてもよい。
画像D3には推測値o11、推測値o12および推測値o13が表示されている。推測値o11は、2021年2月21日の治療が開始された時点を推測の基点とした、対象者が治療を受けた場合の推測値である。また、推測値o11は、該基点の後の時点である2021年5月13日の時点の推測値である。
推測値o12は、対象者に対する治療が今後行わなかった場合の現在を推測の基点とした半年後の推測値である。
推測値o13は、対象者に対する治療が今後継続して行われた場合の現在を推測の基点とした半年後の推測値である。
≪推測の基点となる時点より前の時点の推測値を表示する表示画像の例≫
次に、推測の基点となる時点より前の時点の推測値を表示する表示画像の例について説明する。図6および図7は、推測の基点となる時点より前の時点の対象者の骨密度の推測値を表示する表示画像の例を示す図である。
<推測の基点を現在として推測した、現在よりも過去の骨密度の推測値を表示する表示画像の例>
図6に示す画像D4には、測定を行った時点における対象者の骨密度の測定値m1、医用画像が撮像された時点における対象者の骨密度の推定値n1、n2、n21およびこれらの測定値と推定値とに基づく骨密度の推移T3が示されている。また、画像D4には推測値o21、推測値o22および推測値o23が表示されている。図6に示す画像D4について、上述した画像D1-画像D3にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。
推測値o21は、2022年2月21日の時点を推測の基点とした、当該基点の後の時点である2022年5月13日の時点の推測値である。
推測値o22は、現在を推測の基点とした、当該基点の後の時点である半年後の時点の推測値である。
推測値o23は、現在を推測の基点とした、現在の前の時点である2021年5月13日の時点の推測値である。すなわち、推測値o23は、推測の基点となる現在よりも過去の時点の推測値である。
<推測の基点を過去の時点として推測した、基点よりも過去の骨密度の推測値を表示する表示画像の例>
図7に示す画像D5には、測定を行った時点における対象者の骨密度の測定値m1、測定値m31、医用画像が撮像された時点における対象者の骨密度の推定値n31およびこれらの測定値と推定値とに基づく骨密度の推移T4が示されている。また、画像D5には推測値o31、推測値o32および推測値o33が表示されている。図7に示す画像D5について、上述した画像D1-画像D4にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。
推測値o31は、2022年2月21日の時点を推測の基点とした、当該基点の前の時点である2021年12月21日の時点の推測値である。すなわち、推測値o31は、推測の基点となる過去の時点よりもさらに過去の時点の推測値である。
推測値o32は、現在を推測の基点とした、現在よりも前の時点である2022年5月13日の時点の推測値である。
推測値o33は、現在を推測の基点とした、現在よりも後の時点である半年後の時点の推測値である。
図6および図7に示す例によれば、医用画像を撮像していない、または、骨密度測定を行っていなかった過去の時点の対象者の骨密度の値を補填することができる。また、医療機関において、対象者の初診時に対象者の過去の時点の骨密度の値を推測することができる。
≪対象者とは異なる参照者の骨密度の推移を示す推移情報を表示する表示画像の例≫
次に、対象者の骨密度に関する情報と、対象者とは異なる参照者の骨密度の推移を示す推移情報と、を表示する表示画像の例について説明する。図8は、対象者の骨密度に関する情報と参照者の骨密度の推移を示す推移情報とを表示する表示画像の一例を示す図である。
図8に示す画像D6には、測定を行った時点における対象者の骨密度の測定値m41-m43、医用画像が撮像された時点における対象者の骨密度の推定値n41-n42およびこれらの測定値と推定値とに基づく対象者の骨密度の推移T5が表示されている。また、画像D6には推測値o41が表示されている。推測値o41は、現在を推測の基点とした、基点から半年後の時点の対象者の骨密度の推測値である。図8に示す画像D6について、上述した画像D1-画像D5にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。
画像D6には対象者とは異なる参照者の骨密度の推移を示す表示p3が表示されている。すなわち、画像生成部424は、対象者とは異なる参照者の骨密度の推移を示す推移情報を表示する画像D6を生成する。例えば、記憶部43には、参照者の骨密度の推移を示す参照者データが格納されていてもよい。画像生成部424は、参照者の骨密度の推移を示す情報である表示p3を表示する表示画像を、記憶部43が格納している参照者データを用いて生成してもよい。
例えば、当該参照者は、対象者と同じ属性にある者であってもよい。ここで、同じ属性とは、年齢、体重、性別、疾病、血縁関係者、骨粗鬆症のタイプ、血液マーカによる値および骨折リスク評価ツール(FRAX(登録商標);Fracture Risk Assessment Tool)による評価の少なくとも1つが同等あるいは近似していることであってもよい。参照者の骨密度の推移が対象者の骨密度の推移の比較対象になればよい。例えば、参照者は既に骨密度に関する治療を受けている者であってもよいし、骨密度に関する治療を受けていない者であってもよい。
≪対象者への治療開始のタイミングの変更に応じて推測値を表示する表示画像の例≫
次に、対象者への治療開始のタイミングの変更に応じた推測値を表示する表示画像の例について説明する。
図9は、対象者への治療開始のタイミングの変更に応じて遷移する表示画像の一例を示す図である。本例では、ユーザの操作入力によって、対象者に対する治療の開始のタイミングが半年後から現在に変更された場合の画像の遷移について説明する。図9に示すように、当該変更が行われると、表示される表示画像は画像D7から画像D8に遷移する。また、治療の開始のタイミングはユーザの操作入力によって任意の時点に設定されもよい。
画像D7は、半年後に対象者に対して治療が開始される場合の対象者の骨密度の推測値を表示する表示画像の一例である。画像D7には、測定を行った時点における対象者の骨密度の測定値m51-m52、医用画像が撮像された時点における対象者の骨密度の推定値n51-n52およびこれらの測定値と推定値とに基づく対象者の骨密度の推移T6が表示されている。また、画像D7には推測値o51、推測値o52および推測値o53が表示されている。画像D7について、上述した画像D1-画像D6にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。
推測値o51は、現在を推測の基点とした、半年後の時点の対象者の骨密度の推測値である。
推測値o52は、対象者に対する治療が半年後に開始された場合の現在を推測の基点とした1年後の対象者の骨密度の推測値である。推測値o52および後述の推測値o53、画像D8の推測値o62および画像D8の推測値o64については、連結している点線の終点に推測値が示されており、当該点線の始点は現在から半年後の対象者の骨密度の推測値に連結している。これらの推測値に連結する点線の始点は推測の基点となる時点を示すものではない。
推測値o53は、対象者に対する治療が開始されない場合の現在を推測の基点とした1年後の対象者の骨密度の推測値である。
画像D8は、現在にて対象者に対して治療が開始される場合の対象者の骨密度の推測値を表示する表示画像の一例である。画像D8について、上述した画像D1-画像D7にて説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。画像D8には推測値o51、推測値o52、推測値o63および推測値o64が表示されている。
推測値o61は、対象者に対して治療が開始されない場合の現在を推測の基点とした半年後の対象者の骨密度の推測値である。
推測値o62は、対象者に対して治療が開始されない場合の現在を推測の基点とした1年後の対象者の骨密度の推測値である。
推測値o63は、対象者に対する治療が現在にて開始された場合の現在を推測の基点とした半年後の対象者の骨密度の推測値である。
推測値o54は、対象者に対する治療が現在にて開始された場合の現在を推測の基点とした1年後の対象者の骨密度の推測値である。
本例においては、治療開始のタイミングの変更に応じて表示される画像が画像D7から画像D8に遷移する例を説明したが、画像D7と画像D8とを同時に表示してもよい。
1つの画像、例えば、1つのグラフに異なる治療開始のタイミングに応じた推測値のそれぞれを表示してもよい。
(他の例)
次に、上述の画像D1-画像D8についての他の例について説明する。
(推定値の推定に用いられた医用画像に写る骨の名称を表示する例)
画像D1-画像D8には、各推定値が推定されるために用いられた医用画像に写る骨の名称が表示されてもよい。すなわち、画像生成部424は、推定情報433が推定されるために用いられる医用画像に写る骨の名称を示す情報を表示する表示画像を生成してもよい。また、第1生成部422は、医用画像に写る複数の部位の骨の像から推定情報433を生成してもよい。画像生成部424は、推定情報433が推定されるために用いられる医用画像に写る複数の骨の名称を示す情報を表示する表示画像を生成してもよい。骨の名称とは、例えば、頭蓋骨、鎖骨、胸骨、肩甲骨、肋骨、上腕骨、橈骨、尺骨、手骨、脊柱、仙骨、尾骨、大腿骨、膝蓋骨、脛骨、腓骨、及び足骨等であってもよい。
画像D1-画像D8には、各推測値が推測されるために用いられた医用画像に写る骨の名称が表示されてもよい。すなわち、画像生成部424は、推測情報434が推測されるために用いられる医用画像に写る骨の名称を示す情報を表示する表示画像を生成してもよい。また、第2生成部427は、医用画像に写る複数の部位の骨の像から推測情報434を生成してもよい。画像生成部424は、推測情報434が推測されるために用いられる医用画像に写る複数の骨の名称を示す情報を表示する表示画像を生成してもよい。
(推定値の推定および推測値の推測に用いた医用画像を表示する例)
画像D1-画像D8には、各推定値の推定および各推測値の推測に用いた医用画像が表示されてもよい。当該医用画像とは、例えば、頭部、頚部、胸部、腰部(腰椎(Lumbar):L1-L4等)、股関節、膝関節、足関節、足部、足趾、肩関節、肘関節、手関節、手部、手指あるいは顎関節等が撮像されている医用画像であってもよい。医用画像の撮影部位の種類はこの限りではない。また、医用画像は、単純X線が照射される対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。X線画像は、皮質骨及び海綿骨の少なくとも一方が写る画像であってもよい。
(複数の部位のそれぞれから骨密度が推定または推測される場合の表示の例)
医用画像に撮像されている複数の部位のそれぞれから骨密度が推定または推測される場合には、画像D1-画像D8には、各部位における骨密度の推移を示すそれぞれのグラフが表示されてもよい。例えば、各推定値の推定および各推測値の推測に用いた各部位の撮像画像が、対応するそれぞれのグラフに重畳して表示されてもよい。複数の部位は、例えば、椎体ごとの領域に設定されてもよい。複数の部位は、例えば、複数の椎体をまとめた領域に設定されてもよい。複数の部位は、例えば、それぞれ異なる面積の領域に設定されてもよい。また、複数の部位は、ある部位の特定部分の面積を分割した領域に設定してもよい。複数の部位は、例えば、対象者の属性情報に応じて、任意で領域を設定してもよい。例えば、対象者に骨折歴がある場合、骨折歴が無い対象者より特定部分の面積を狭い領域に設定してよい。
(判定基準の表示の例)
正常、骨量減少および骨粗鬆症等の判定基準を示す情報を表示する表示画像において、判定基準が当該グラフに重畳されて表示されてもよい。当該判定基準は、測定時の対象者の年齢、推定時の対象者の年齢または推測時の対象者の年齢に応じた判定基準であってもよい。ここでいう推測時とは、例えば、上述の第3の時点であってもよい。
(推測値の誤差範囲または推測確率を表示する例)
第2生成部427は、推測値についての誤差範囲を示す情報を含む推測情報434を生成してもよい。画像生成部424は、各推測値についての誤差範囲を示す情報を表示する表示画像を生成してもよい。
詳細には、第2生成部427は、推測値についての推測確率、または推測値についての誤差範囲を示す情報を含む推測情報434を生成してもよい。推測確率とは、例えば、予測確率であってもよい。上述の画像D1-画像D8には、当該推測確率および当該誤差範囲の少なくとも1つが表示されてもよい。
(推測値の誤差範囲を表示する例)
ここで、推測値の誤差範囲を表示する表示画像の一例を説明する。図10は、対象者の骨密度の推測値の誤差範囲を表示する表示画像の一例を示す図である。図10に示す画像D9には、測定を行った時点における対象者の骨密度の測定値m71-m72、医用画像が撮像された時点における対象者の骨密度の推定値n71-n72およびこれらの測定値と推定値とに基づく対象者の骨密度の推移T7が表示されている。また、画像D9には推測値o71および推測値o72が表示されている。
推測値o71は、現在を推測の基点とした、基点から半年後の時点を含む所定の期間における対象者の骨密度の推測値である。推測値o72は、現在を推測の基点とした、基点から1年後の時点を含む所定の期間における対象者の骨密度の推測値である。すなわち、推測値o71および推測値o72を、現在を推測の基点とした、基点から所定の期間が経過した時点を含む所定の期間における対象者の骨密度の推測値として表示してもよい。
図10に示す例では、推測値o71および推測値o72は、推測値および推測値の誤差範囲を含む円によって示されている。また、推測値o71および推測値o72の誤差範囲は、エラーバーや箱ひげ図によって、表示されてもよい。また、推測値o71および推測値o72の誤差範囲の上限を点線等で繋いで表示してもよい。また、推測値o71および推測値o72の誤差範囲の下限を点線等で繋いで表示してもよい。
(推定値が範囲である例)
第1生成部422は、各推定値についての幅を示す情報を含む推定情報433を生成してもよい。画像生成部424は、各推定値についての幅を表示する表示画像を生成してもよい。推定値についての幅の具体例として、推定骨密度幅0.79-0.81(中央値0.80)g/cmなどを一例として挙げることができる。
(推測値の推測確率を表示する例)
次に、推測値についての推測確率を表示する表示画像の一例を説明する。図11は、対象者の骨密度の推測値の推測確率を表示する表示画像の一例を示す図である。図11に示す画像D10には、測定を行った時点における対象者の骨密度の測定値m81-m83、医用画像が撮像された時点における対象者の骨密度の推定値n81-n82およびこれらの測定値と推定値とに基づく対象者の骨密度の推移T8が表示されている。また、画像D10には推測値o82が表示されている。
推測値o82は、現在を推測の基点とした、基点から半年後の時点における対象者の骨密度の推測値である。また、画像D10には、推測値o82の上部に、推測値o82の推測確率を示す表示p4が「69%」と表示されている。すなわち、第2生成部427は推測値に関する推測確率を示す推測情報434を生成してもよい。また、画像生成部424は、各推測値について推測確率を表示する表示画像を生成してもよい。
(測定値の測定時の測定結果を表示する例)
画像D1-画像D10において、各測定値の測定時に撮像された医用画像がさらに表示されてもよい。当該医用画像とは、例えば、頭部、頚部、胸部、腰部(腰椎(Lumbar):L1-L4等)、股関節、膝関節、足関節、足部、足趾、肩関節、肘関節、手関節、手部、手指あるいは顎関節等が撮像されている医用画像であってもよい。医用画像の撮影部位の種類はこの限りではない。また、医用画像は、単純X線が照射される対象部位が正面から写る正面像であってもよいし、対象部位が側面から写る側面像であってもよい。X線画像は、皮質骨及び海綿骨の少なくとも一方が写る画像であってもよい。また、画像D1-画像D10に、表示されている測定値に対応する測定結果が表示されてもよい。例えば、表示される測定結果は、DXA法によって測定された測定結果を示す表示であってもよい。
(推定値の推定および推測値の推測に用いた医用画像を表示する他の例)
画像D1-画像D10において、各推定値の推定および各推測値の推測に用いた医用画像がさらに表示される場合、当該医用画像は推定に用いた領域が分かるように表示されてもよい。
例えば、第1生成部422は、推定値の推定に用いた領域に対してヒートマップを生成してもよい。この場合、例えば、ヒートマップの外縁が推定に用いた領域のセグメテーション領域を示してもよい。ヒートマップは、骨密度の大きさを任意の色の濃度で表してもよい。例えば、第1生成部422は、着目の度合を示すヒートマップを生成してもよい。また、骨密度の数値を示すヒートマップを生成してもよい。また、第1生成部422は、骨折する可能性(確率)を示すヒートマップを生成してもよい。表示画像は、当該ヒートマップが医用画像に重畳された画像を表示してもよい。ヒートマップに用いる画像は、静止画でもよく、動画であってもよい。動画で示すことで、例えば、様々なヒートマップを順番にフェードさせることで、各ヒートマップ間の関係を視覚的に認識することが容易となる。また、解析結果が、セグメンテーション領域以外も含む骨密度のヒートマップである場合には、その一部のセグメンテーション領域を枠線で囲んでもよい。
(医用画像および測定結果の表示方法)
画像D1-画像D10において、各推定値の推定および各推測値の推測に用いた医用画像がさらに表示される場合、マウスのカーソル等が推定値の表示領域または推測値の表示領域に重なると、該推定値または推測値に対応する医用画像が表示されてもよい。ここで、対応する医用画像とは、推定値の推定または推測値の推測に用いられた医用画像であってもよい。例えば、医用画像における推定値の推定または推測値の推測に用いた領域が分かるように、該医用画像が表示されてもよい。また、マウスのカーソル等が測定値の表示領域に重なると、該測定値に対応する測定結果が表示されてもよい。例えば、表示される測定結果は、DXA法によって測定された測定結果を示す表示であってもよい。これらの医用画像の表示または測定結果の表示は、マウスのカーソル等が重なった測定値の表示領域または推測値の表示領域からの吹き出しに表示されてもよい。また、推定値、推測値または測定値の表示領域に対してクリック操作が行われた場合に、上述の医用画像または測定結果の表示を含む表示画像が表示されてもよい。
推定値および測定値に対応する医用画像を表示する表示画像の一例を説明する。図12は、推定値の推定に用いた医用画像および測定値に対応する測定結果を表示する表示画像の一例を示す図である。図12について、上述の図3で説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。図12に示す画像D11には、骨密度の推移T1を示すグラフを示す表示P6と、推定値n2に対応する医用画像の表示である表示P7と、測定値m3に対応する測定結果の表示である表示P8とが含まれている。図12に示すように、画像D11には、推定値n2の表示領域にマウスのカーソルP5aが重なると、推定値n2に対応する医用画像の表示である表示P7が表示されてもよい。例えば、操作受付部423が推定値n2の表示領域にマウスのカーソルP5aを重ねる操作を受け付けると、画像生成部424は表示P7を含む表示画像を生成し、表示制御部426が当該表示画像を表示部45に表示させる。また、図12に示すように、測定値m3の表示領域にマウスのカーソルP5bが重なると、測定値m3に対応する測定結果の表示P8が表示されてもよい。
図13は、推定値n2に対応する医用画像の表示の他の例を示す図である。本例では、図12に示す推定値n2の表示領域にマウスのカーソルP5aが重なると、推定値n2に対応する医用画像の表示である表示P7aが表示される。表示P7aには、医用画像における推定値n2の推定に用いた領域を示す枠線である表示P710が表示されている。
(複数の部位のそれぞれの骨密度の推移を表示する例)
表示部45に表示される表示画像には、医用画像に撮像されている複数の部位のそれぞれの骨密度の推移が表示されてもよい。複数の部位のそれぞれの骨密度の推移を表示する表示画像の一例を説明する。図14は、複数の部位のそれぞれの骨密度の推移を表示する表示画像の一例を示す図である。図14について、上述の図3で説明した表示と同じ表示については、同じ符号を付記し、その説明をここでは繰り返さない。図14に示す画像D12には、骨密度の推移T1を示すグラフを示す表示P11と医用画像の表示である表示P9とが含まれている。医用画像の表示P9には、腰椎の各部位であるL1-L4が撮像されている領域を示す枠線である表示P91から表示P94が表示されている。例えば、図14に示すように、腰椎L1の表示領域である表示P91内にマウスのカーソルP10が位置すると、腰椎L1における骨密度の推移を示す画像が表示されてもよい。また、腰椎L1-L4の各骨密度の推移を同時に表示する表示画像が表示されてもよい。このような表示画像においては、例えば、腰椎L1の表示領域である表示P91内にマウスのカーソルP10が位置すると、腰椎L1における骨密度の推移が強調されて表示されてもよい。
(推測結果として骨折の推測箇所を表示する例)
操作受付部423は、対象者の骨折に関する推測を指示する操作入力を受け付けてもよい。操作受付部423は当該操作入力を受け付けると、第2生成部427に対象者の骨折に関する推測を示す推測情報434の生成を指示する。さらに、操作受付部423は、画像生成部424に該推測情報434が示す対象者の骨折に関する推測を表示する表示画像の生成を指示する。操作受付部423は、表示終了を指示する操作入力を受け付ける。操作受付部423は当該操作入力を受け付けると、表示制御部426に表示終了を指示する。
《第2生成部427の他の例》
制御部42が備える第2生成部427は、以下の処理を行ってもよい。第2生成部427は、記憶部43に格納されている医用画像データ432が示す医用画像から推測される対象者の将来骨折が発生する可能性に関する情報を含む推測情報434を生成する。例えば、第2生成部427は、第1時点における対象者の骨が写る医用画像から推測された将来骨折が発生する可能性に関する情報を含む推測情報434を生成してもよい。推測情報434は、例えば、対象者の将来骨折が発生する確率、骨折が発生すると推測される時期及び骨折が発生する箇所等を示す情報の少なくともいずれかを含んでもよい。
第2生成部427は、第2時点における対象者の骨が写る医用画像から推測された、対象者の骨折に関する情報を含む推測情報434を生成してもよい。推測情報434は、第4時点の対象者の骨折に関する情報を含んでもよい。第4時点は、第2時点及び第3時点と異なる時点であってもよい。
画像生成部424が推測情報434を用いて画像を生成する場合、画像生成部424は、第4時点と対応付けられた推測情報434を表示する表示画像を生成してもよい。
〈推測モデル4271の他の例〉
本例に係る第2生成部427が備える推測モデル4271は以下の処理を行ってもよい。推測モデル4271は、対象者の医用画像データ432が示す医用画像から、当該医用画像が撮像された時点とは異なる時点の対象者の将来骨折が発生する可能性に関する情報を推測してもよい。推測モデル4271は、第3の人の骨が写る医用画像(第4画像)を含む学習データと、第3の人の骨折に関する情報を含む教師データとに基づいて設定されてもよい。上述の「第3の人」は、特に、ヒトに限定されなくてもよい。例えば、「対象者」と同種の動物であってもよい。
例えば、学習データに含まれる複数の学習画像データのそれぞれに対して、当該学習画像データが示す学習用単純X線像に写る骨を有する人の骨折に関する情報が教師データとして対応付けられている。教師データは、骨評価情報及び第3の人の骨折した箇所が写る医用画像(第5画像)等の少なくともいずれかであってもよい。第5画像は、第4画像と同じ部位が写る画像であってよい。第5画像は、第4画像と異なる部位が写る画像であってよい。
教師データは、学習用画像データが撮影された時期と異なる時期に測定されたものであってもよい。教師データは、学習用画像データが撮影された時期とほぼ同じ時期に測定されたものであってもよい。
推測モデル4271は、複数のモデルによって構成されてもよい。例えば、推測モデル4271は、医用画像から当該医用画像が撮像された時点とは異なる時点の対象者の骨密度を推測するモデル、医用画像から該医用画像が撮像された時点とは異なる時点の対象者の将来骨折が発生する可能性を推測するモデルなどにより構成されてもよい。複数のモデルから出力された推測結果は、表示部45に表示される表示画像において、一緒に表示してもよいし、何れか一つだけが表示されてもよい。
推測情報434は、第1手法と第2手法とは異なる種類の情報を示す手法であってもよい。例えば、第1手法は、骨密度に関する情報を示す手法、第2手法は骨折に関する情報を示す手法であってもよい。例えば、対象者の骨密度の測定値及び対象者の骨密度の推定値は、表示部45に表示される表示画像において、同じ表示態様で示されてもよい。対象者の骨折に関する情報は、表示部45に表示される表示画像において、対象者の骨密度の測定値及び対象者の骨密度の推定値の表示態様とは異なる表示態様で示されてもよい。
表示部45に表示される表示画像には、推測情報434が示す将来骨折が生じる可能性が高い箇所が表示されてもよい。図15は、表示部45に表示される表示画像に含まれる、骨折が生じる可能性が高い箇所を示す表示の一例を示す図である。図15の左の図に示す例では、表示部45に表示される表示画像には、X線画像の表示である表示P13が含まれている。表示P13には、将来骨折が生じる可能性が高い領域を示す枠線である表示P131が含まれている。
図15の右の図に示す例では、表示部45に表示される表示画像には、X線画像の表示である表示P14が含まれている。表示P14には、骨密度の推測に用いる領域を示す枠線である表示P14と、将来骨折が生じる可能性が高い領域を示す枠である表示P141および表示P142とが含まれている。例えば、将来骨折が生じる可能性が高い領域を示す枠線である表示P141および表示P142の周辺に、「推測」等の表記が表示されてもよい。
〔実施形態2〕
本開示の他の実施形態について、図16を参照しながら、以下に説明する。また、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図16は、本実施形態に係る情報処理システム1aの一例の要部構成を示すブロック図である。図16に示すように、情報処理システム1aは、測定装置2、撮像装置3、表示装置(画像生成装置)4a、第1生成装置4220aおよび第2生成装置42270aを含む。各装置は、有線または無線による通信行う。また、当該通信は図16に示すように、ネットワーク5aを介して行われてもよい。
第1生成装置4220aは、実施形態1にて説明した第1生成部422が行う処理と同様の処理を行う。第1生成装置4220aは通信部4221aを介して生成した推定情報433を表示装置4に送信する。
第2生成装置4270aは、実施形態1にて説明した第2生成部427が行う処理と同様の処理を行う。第2生成装置4270aは、通信部4271aを介して推測情報434の生成の指示を受信する。また、第2生成装置4270aは、通信部4271aを介して生成した推測情報434を表示装置4に送信する。
表示装置4aは、通信部41a、制御部42a、記憶部43a、操作入力部44および表示部45を備える。制御部42aの取得部421aは、通信部41aを介して、測定情報431、推定情報433および推測情報434を受信する。表示装置4aは、実施形態1にて説明した画像生成処理を行う。また、表示装置4aは、操作受付部423aが対象者の骨に関する推測を指示する操作入力を受け付ける指示を受け付けると、通信部41aを介して、推測情報434の生成の指示を第2生成装置4270aに送信する。操作受付部423aは操作受付部423と同様の操作を受け付ける。また、操作入力部44および操作受付部423aの処理を行う操作入力装置が表示装置4aとは、異なる装置として情報処理システム1aに含まれていてもよい。この場合、当該操作入力装置は、ネットワーク5aを介して、表示装置4a、第2生成装置4270a等と通信を行ってもよい。
〔実施形態3〕
本開示の他の実施形態について、図17を参照しながら、以下に説明する。また、説明の便宜上、上記実施形態にて説明した部材と同じ機能を有する部材については、同じ符号を付記し、その説明を繰り返さない。
図17は、本実施形態に係る情報処理システム1bの一例の要部構成を示すブロック図である。図17に示すように、情報処理システム1bは、測定装置2、撮像装置3、表示装置4b、第1生成装置4220a、第2生成装置42270aおよびサーバ装置(画像生成装置)6bを含む。各装置は、有線または無線による通信行う。また、当該通信は図17に示すように、ネットワーク5aを介して行われてもよい。また、サーバ装置6bはクラウドサーバであってもよい。
第1生成装置4220aは、実施形態1にて説明した第1生成部422が行う処理と同様の処理を行う。第1生成装置4220aは通信部4221aを介して生成した推定情報433をサーバ装置6bに送信する。
第2生成装置4270aは、実施形態1にて説明した第2生成部427が行う処理と同様の処理を行う。第2生成装置4270aは、通信部4271aを介して推測情報434の生成の指示を受信する。また、第2生成装置4270aは、通信部4271aを介して生成した推測情報434をサーバ装置6bに送信する。
サーバ装置6bは、通信部61b、制御部62bおよび記憶部63bを備える。制御部62bの取得部621bは、通信部61bを介して受信した測定情報431、推定情報433および推測情報434を記憶部63bに格納する。制御部62bの情報取得部625bおよび画像生成部624bは、実施形態1にて説明した、情報取得部425および画像生成部424と同様に画像生成処理を行う。サーバ装置6bは、通信部61bを介して生成した画像データ430bを表示装置4bに送信する。
表示装置4bは、通信部41b、制御部42b、記憶部43b、操作入力部44および表示部45を備える。表示装置4bは、操作受付部423bが対象者の骨に関する推測を指示する操作入力を受け付ける指示を受け付けると、通信部41bを介して、第2生成装置4270aに推測情報434の生成の指示を送信する。操作受付部423bは操作受付部423と同様の操作を受け付ける。制御部42bの取得部421bは、通信部41bを介して、画像データ430bをサーバ装置6bから取得する。取得部421bは、取得した画像データ430bを記憶部43bに格納し、画像データ430bを格納したことを示す信号を表示制御部426bに送信する。表示制御部426bは当該信号を取得部421bから受信すると、記憶部43bから画像データ430bを取得し、表示部45に画像データ430bが示す画像を表示する。
〔ソフトウェアによる実現例〕
表示装置(4、4a、4b)、第1生成装置(4220a)、第2生成装置(4270a)、サーバ装置(6b)(以下、「装置」と呼ぶ)の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック(特に制御部に含まれる各部)としてコンピュータを機能させるためのプログラムにより実現することができる。
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも1つの制御装置(例えばプロセッサ)と少なくとも1つの記憶装置(例えばメモリ)を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、1または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本開示の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
また、上記各実施形態で説明した各処理は、AI(Artificial Intelligence:人工知能)に実行させてもよい。この場合、AIは上記制御装置で動作するものであってもよいし、他の装置(例えばエッジコンピュータまたはクラウドサーバ等)で動作するものであってもよい。
以上、本開示に係る発明について、諸図面および実施例に基づいて説明してきた。しかし、本開示に係る発明は上述した各実施形態に限定されるものではない。すなわち、本開示に係る発明は本開示で示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本開示に係る発明の技術的範囲に含まれる。つまり、当業者であれば本開示に基づき種々の変形または修正を行うことが容易であることに注意されたい。また、これらの変形または修正は本開示の範囲に含まれることに留意されたい。
〔まとめ〕
本開示の態様1に係る情報処理システムは、第1手法に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する第1取得部と、前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる前記対象者の骨に関する情報を示す第2情報を取得する第2取得部と、前記第1情報および前記第2情報を表示する表示画像を生成する生成部と、を備える。
本開示の態様2に係る情報処理システムは、前記態様1において、前記第1情報および前記第2情報は、前記対象者の骨密度、骨量および骨質のうちの少なくともいずれか1つに関する情報であってもよい。
本開示の態様3に係る情報処理システムは、前記態様2において、前記第1取得部は、第1時点において測定された前記第1情報を取得し、前記第2取得部は、前記第1時点とは異なる第2時点における前記対象者の骨が写る第1画像から推定モデルによって推定された骨密度、骨量および骨質のうちの少なくともいずれか1つを示す前記第2情報を取得し、前記生成部は、前記第1情報および前記第2情報を、前記第1時点および前記第2時点の時系列順に並べた前記表示画像を生成してもよい。
本開示の態様4に係る情報処理システムは、前記態様3において、前記推定モデルは、第1の人の骨が写る第2画像を含む学習データと、前記第1の人の骨密度、骨量および骨質のうちの少なくともいずれか1つを含む教師データとに基づいて設定されてもよい。
本開示の態様5に係る情報処理システムは、前記態様3または4において、前記第1時点または前記第2時点における前記対象者の骨が写る画像から推測モデルによって推測された骨密度、骨量および骨質のうちの少なくともいずれか1つに関する推測情報を取得する第3取得部をさらに備え、前記対象者の骨が写る画像が前記第1時点における前記対象者の骨が写る画像である場合、前記推測情報は、前記第1時点とは異なる第3時点の情報であり、前記対象者の骨が写る画像が前記第2時点における前記対象者の骨が写る画像である場合、前記推測情報は、前記第2時点とは異なる第3時点の情報であり、前記生成部は、前記第3時点と対応付けられた前記推測情報を表示する前記表示画像を生成してもよい。
本開示の態様6に係る情報処理システムは、前記態様5において、前記推測モデルは、第2の人の骨が写る第3画像を含む学習データと、前記第2の人の骨密度、骨量および骨質のうちの少なくともいずれか1つを含む教師データとに基づいて設定されてもよい。
本開示の態様7に係る情報処理システムは、前記態様6において、 前記推測情報は、前記対象者に対して骨密度、骨量および骨質のうちの少なくともいずれか1つについての治療が行われた場合の前記対象者の骨密度に関する情報であり、前記第2の人は、骨密度、骨量および骨質のうちの少なくともいずれか1つについての治療を受けた人であり、前記推測モデルは、前記治療を受けた前記第2の人の骨が写る前記第3画像を含む学習データと、前記第2の人の骨密度、骨量および骨質のうちの少なくともいずれか1つを含む教師データとに基づいて設定されてもよい。
本開示の態様8に係る情報処理システムは、前記態様5から7の何れかにおいて、前記対象者の骨が写る画像が前記第1時点における前記対象者の骨が写る画像である場合、前記第3時点は、前記第1時点より前の時点、または前記第1時点より後の時点であり、前記対象者の骨が写る画像が前記第2時点における前記対象者の骨が写る画像である場合、前記第3時点は、前記第2時点より前の時点、または前記第2時点より後の時点であってもよい。
本開示の態様9に係る情報処理システムは、前記態様3から8の何れかにおいて、前記生成部は、前記第2情報が推定されるために用いられる前記第1画像に写る骨の名称を示す情報を表示する前記表示画像を生成してもよい。
本開示の態様10に係る情報処理システムは、前記態様1から9の何れかにおいて、前記生成部は、前記第2情報を、前記第1情報と異なる表示態様で示す前記表示画像を生成してもよい。
本開示の態様11に係る情報処理システムは、前記態様1から10の何れかにおいて、前記生成部は、前記対象者に対する骨密度、骨量および骨質のうちの少なくともいずれか1つについての治療の期間を示す情報を表示する前記表示画像を生成してもよい。
本開示の態様12に係る情報処理システムは、前記態様1から11の何れかにおいて、前記生成部は、前記対象者とは異なる参照者の骨密度、骨量および骨質のうちの少なくともいずれか1つの推移を示す推移情報を表示する前記表示画像を生成してもよい。
本開示の態様13に係る情報処理システムは、前記態様1から12の何れかにおいて、前記生成部は、骨密度、骨量および骨質のうちの少なくともいずれか1つに対する判定基準を示す情報を表示する前記表示画像を生成してもよい。
本開示の態様14に係る情報処理システムは、前記態様1から13の何れかにおいて、前記生成部は、前記第1手法および前記第2手法を示す表示を含む前記表示画像を生成してもよい。
本開示の態様15に係る情報処理システムは、前記態様1から14の何れかにおいて、骨について測定を実行する測定装置を備え、前記第1情報は、骨について測定を実行する前記測定装置を用いて測定された情報を含んでもよい。
本開示の態様16に係る情報処理システムは、前記態様3から9の何れかにおいて、骨が写る画像を撮像する撮像装置を備え、前記第1画像は、前記撮像装置を用いて撮像された画像であってもよい。
本開示の態様17に係る情報処理方法は、第1手法に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する第1取得ステップと、前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる前記対象者の骨に関する情報を示す第2情報を取得する第2取得ステップと、前記第1情報および前記第2情報を表示する表示画像を生成する生成ステップと、を含む。
本開示の態様18に係る画像生成装置は、第1手法に基づいて得られる対象者の骨に関する情報を示す第1情報を取得する第1取得部と、前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる前記対象者の骨に関する情報を示す第2情報を取得する第2取得部と、前記第1情報および前記第2情報を表示する表示画像を生成する生成部と、を備える。
本開示の態様19に係る画像生成プログラムは、前記態様18に記載の情報処理システムとしてコンピュータを機能させるための画像生成プログラムであって、前記第1取得部、前記第2取得部、前記生成部としてコンピュータを機能させるための画像生成プログラム。
1、1a、1b 情報処理システム
4、4a 表示装置(画像生成装置)
6b サーバ装置(画像生成装置)
421、421a、621b 取得部(第1取得部)
424、624b 画像生成部(生成部)
425、625b 情報取得部(第1取得部、第2取得部、第3取得部)
431 測定情報(第1情報)
433 推定情報(第2情報)
434 推測情報
4221 推定モデル
4271 推測モデル
S2 第1取得ステップ
S3 第2取得ステップ
S4 生成ステップ

Claims (19)

  1. 第1手法に基づいて得られる対象者の骨に関する測定値を含む情報を示す第1情報を取得する第1取得部と、
    前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる、前記対象者の骨が写る画像から推定された前記画像の撮像時点における前記対象者の骨に関する推定値を含む情報を示す第2情報を取得する第2取得部と、
    前記第1情報および前記第2情報を表示する表示画像を生成する生成部と、を備える情報処理システム。
  2. 前記第1情報および前記第2情報は、前記対象者の骨密度、骨量および骨質のうちの少なくともいずれか1つに関する情報である
    請求項1に記載の情報処理システム。
  3. 前記第1取得部は、第1時点において測定された前記第1情報を取得し、
    前記第2取得部は、前記第1時点とは異なる第2時点における前記対象者の骨が写る第1画像から推定モデルによって推定された前記第2情報を取得し、
    前記生成部は、前記第1情報および前記第2情報を、前記第1時点および前記第2時点の時系列順に並べた前記表示画像を生成する
    請求項2に記載の情報処理システム。
  4. 前記推定モデルは、第1の人の骨が写る第2画像を含む学習データと、前記第1の人の骨密度、骨量および骨質のうちの少なくともいずれか1つを含む教師データとに基づいて設定される
    請求項3に記載の情報処理システム。
  5. 前記第1時点または前記第2時点における前記対象者の骨が写る画像から推測モデルによって推測された骨密度、骨量および骨質のうちの少なくともいずれか1つに関する推測情報を取得する第3取得部をさらに備え、
    前記対象者の骨が写る画像が前記第1時点における前記対象者の骨が写る画像である場合、前記推測情報は、前記第1時点とは異なる第3時点の情報であり、
    前記対象者の骨が写る画像が前記第2時点における前記対象者の骨が写る画像である場合、前記推測情報は、前記第2時点とは異なる第3時点の情報であり、
    前記生成部は、前記第3時点と対応付けられた前記推測情報を表示する前記表示画像を生成する、
    請求項3に記載の情報処理システム。
  6. 前記推測モデルは、第2の人の骨が写る第3画像を含む学習データと、前記第2の人の骨密度、骨量および骨質のうちの少なくともいずれか1つを含む教師データとに基づいて設定される
    請求項5に記載の情報処理システム。
  7. 前記推測情報は、前記対象者に対して骨密度、骨量および骨質のうちの少なくともいずれか1つについての治療が行われた場合の前記対象者の骨密度に関する情報であり、
    前記第2の人は、骨密度、骨量および骨質のうちの少なくともいずれか1つについての治療を受けた人であり、
    前記推測モデルは、前記治療を受けた前記第2の人の骨が写る前記第3画像を含む学習データと、前記第2の人の骨密度、骨量および骨質のうちの少なくともいずれか1つを含む教師データとに基づいて設定される
    請求項6に記載の情報処理システム。
  8. 前記対象者の骨が写る画像が前記第1時点における前記対象者の骨が写る画像である場合、前記第3時点は、前記第1時点より前の時点、または前記第1時点より後の時点であり、
    前記対象者の骨が写る画像が前記第2時点における前記対象者の骨が写る画像である場合、前記第3時点は、前記第2時点より前の時点、または前記第2時点より後の時点である、
    請求項5に記載の情報処理システム。
  9. 前記生成部は、前記第2情報が推定されるために用いられる前記第1画像に写る骨の名称を示す情報を表示する前記表示画像を生成する、
    請求項3に記載の情報処理システム。
  10. 前記生成部は、前記第2情報を、前記第1情報と異なる表示態様で示す前記表示画像を生成する、
    請求項1に記載の情報処理システム。
  11. 前記生成部は、前記対象者に対する骨密度、骨量および骨質のうちの少なくともいずれか1つについての治療の期間を示す情報を表示する前記表示画像を生成する、
    請求項1に記載の情報処理システム。
  12. 前記生成部は、前記対象者とは異なる参照者の骨密度、骨量および骨質のうちの少なくともいずれか1つの推移を示す推移情報を表示する前記表示画像を生成する、
    請求項1に記載の情報処理システム。
  13. 前記生成部は、骨密度、骨量および骨質のうちの少なくともいずれか1つに対する判定基準を示す情報を表示する前記表示画像を生成する、
    請求項1に記載の情報処理システム。
  14. 前記生成部は、前記第1手法および前記第2手法を示す表示を含む前記表示画像を生成する
    請求項1に記載の情報処理システム。
  15. 骨について測定を実行する測定装置を備え、
    前記第1情報は、前記測定装置を用いて測定された情報を含む、
    請求項1に記載の情報処理システム。
  16. 骨が写る画像を撮像する撮像装置を備え、
    前記第1画像は、前記撮像装置を用いて撮像された画像である、
    請求項3に記載の情報処理システム。
  17. 第1手法に基づいて得られる対象者の骨に関する測定値を含む情報を示す第1情報を取得する第1取得ステップと、
    前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる、前記対象者の骨が写る画像から推定された前記画像の撮像時点における前記対象者の骨に関する推定値を含む情報を示す第2情報を取得する第2取得ステップと、
    前記第1情報および前記第2情報を表示する表示画像を生成する生成ステップと、
    を含む情報処理方法。
  18. 第1手法に基づいて得られる対象者の骨に関する測定値を含む情報を示す第1情報を取得する第1取得部と、
    前記対象者に対して前記第1手法と異なる第2手法に基づいて得られる、前記対象者の骨が写る画像から推定された前記画像の撮像時点における前記対象者の骨に関する推定値を含む情報を示す第2情報を取得する第2取得部と、
    前記第1情報および前記第2情報を表示する表示画像を生成する生成部と、を備える画像生成装置。
  19. 請求項18に記載の画像生成装置としてコンピュータを機能させるための画像生成プログラムであって、前記第1取得部、前記第2取得部、前記生成部としてコンピュータを機能させるための画像生成プログラム。
JP2024012065A 2023-09-13 2024-01-30 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム Active JP7664438B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2024012065A JP7664438B2 (ja) 2023-09-13 2024-01-30 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023148672 2023-09-13
JP2024012065A JP7664438B2 (ja) 2023-09-13 2024-01-30 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2023148672 Division 2023-09-13 2023-09-13

Publications (2)

Publication Number Publication Date
JP2025041498A JP2025041498A (ja) 2025-03-26
JP7664438B2 true JP7664438B2 (ja) 2025-04-17

Family

ID=95021476

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2024012065A Active JP7664438B2 (ja) 2023-09-13 2024-01-30 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム

Country Status (4)

Country Link
JP (1) JP7664438B2 (ja)
KR (1) KR20260048347A (ja)
CN (1) CN121816155A (ja)
WO (1) WO2025058057A1 (ja)

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002203199A (ja) 2000-12-28 2002-07-19 Mitsubishi Kagaku Bio-Clinical Laboratories Inc 検査報告書及び検査報告書作成システム及びそのシステムのためのサーバ及び出力端末並びにコンピュータ読み取り可能な記録媒体
JP2002531198A (ja) 1998-11-30 2002-09-24 ホロジック, インコーポレイテッド 定量的及び画像データを含むdicom準拠ファイル通信
JP2004105738A (ja) 2002-09-19 2004-04-08 Ge Medical Systems Global Technology Co Llc 絶対骨折リスクの評価を行う骨密度測定装置
JP2011125476A (ja) 2009-12-17 2011-06-30 Hitachi Aloka Medical Ltd 骨密度測定装置
JP2013169212A (ja) 2012-02-17 2013-09-02 Konica Minolta Inc 医用画像処理装置及びプログラム
WO2019208037A1 (ja) 2018-04-24 2019-10-31 株式会社島津製作所 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
JP2019200788A (ja) 2018-05-09 2019-11-21 威久 山本 将来の骨量を予測する方法、情報処理装置、及びコンピュータプログラム
KR102068586B1 (ko) 2018-08-27 2020-01-21 주식회사 셀바스헬스케어 골밀도 정보를 디스플레이 하는 장치
WO2020054738A1 (ja) 2018-09-10 2020-03-19 京セラ株式会社 推定装置、推定システム及び推定プログラム
JP2021087464A (ja) 2019-12-02 2021-06-10 コニカミノルタ株式会社 医用画像解析システム、プログラム及び医用画像解析方法
JP2022019360A (ja) 2020-07-17 2022-01-27 キヤノン株式会社 画像処理装置およびその制御方法
WO2022051411A1 (en) 2020-09-03 2022-03-10 Dexcom, Inc. Glucose alert prediction horizon modification
JP2022068639A (ja) 2020-10-22 2022-05-10 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2022122131A (ja) 2021-02-09 2022-08-22 富士フイルム株式会社 運動器疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002531198A (ja) 1998-11-30 2002-09-24 ホロジック, インコーポレイテッド 定量的及び画像データを含むdicom準拠ファイル通信
JP2002203199A (ja) 2000-12-28 2002-07-19 Mitsubishi Kagaku Bio-Clinical Laboratories Inc 検査報告書及び検査報告書作成システム及びそのシステムのためのサーバ及び出力端末並びにコンピュータ読み取り可能な記録媒体
JP2004105738A (ja) 2002-09-19 2004-04-08 Ge Medical Systems Global Technology Co Llc 絶対骨折リスクの評価を行う骨密度測定装置
JP2011125476A (ja) 2009-12-17 2011-06-30 Hitachi Aloka Medical Ltd 骨密度測定装置
JP2013169212A (ja) 2012-02-17 2013-09-02 Konica Minolta Inc 医用画像処理装置及びプログラム
WO2019208037A1 (ja) 2018-04-24 2019-10-31 株式会社島津製作所 画像解析方法、セグメンテーション方法、骨密度測定方法、学習モデル作成方法および画像作成装置
JP2019200788A (ja) 2018-05-09 2019-11-21 威久 山本 将来の骨量を予測する方法、情報処理装置、及びコンピュータプログラム
KR102068586B1 (ko) 2018-08-27 2020-01-21 주식회사 셀바스헬스케어 골밀도 정보를 디스플레이 하는 장치
WO2020054738A1 (ja) 2018-09-10 2020-03-19 京セラ株式会社 推定装置、推定システム及び推定プログラム
JP2021087464A (ja) 2019-12-02 2021-06-10 コニカミノルタ株式会社 医用画像解析システム、プログラム及び医用画像解析方法
JP2022019360A (ja) 2020-07-17 2022-01-27 キヤノン株式会社 画像処理装置およびその制御方法
WO2022051411A1 (en) 2020-09-03 2022-03-10 Dexcom, Inc. Glucose alert prediction horizon modification
JP2022068639A (ja) 2020-10-22 2022-05-10 キヤノンメディカルシステムズ株式会社 医用画像処理装置
JP2022122131A (ja) 2021-02-09 2022-08-22 富士フイルム株式会社 運動器疾患予測装置、方法およびプログラム、学習装置、方法およびプログラム並びに学習済みニューラルネットワーク

Also Published As

Publication number Publication date
JP2025041498A (ja) 2025-03-26
WO2025058057A1 (ja) 2025-03-20
CN121816155A (zh) 2026-04-07
KR20260048347A (ko) 2026-04-09

Similar Documents

Publication Publication Date Title
CN112654291B (zh) 推定装置、推定系统以及记录推定程序的计算机可读取的非暂时性记录介质
Jiang et al. Three‐dimensional printing in orthopaedic preoperative planning improves intraoperative metrics: a systematic review
de Cesar Netto et al. Influence of investigator experience on reliability of adult acquired flatfoot deformity measurements using weightbearing computed tomography
Sasaki et al. Evaluation of sagittal spine-pelvis-lower limb alignment in elderly women with pelvic retroversion while standing and walking using a three-dimensional musculoskeletal model
Pasha et al. Application of low-dose stereoradiography in in vivo vertebral morphologic measurements: comparison with computed tomography
CN114903504A (zh) 运动器官疾病预测装置、方法及存储介质、学习装置、方法及存储介质及学习完成神经网络
Xia et al. Computerized virtual surgery planning for ORIF of proximal humeral fractures
Cone 3rd et al. Triplane fracture of the distal tibial epiphysis: radiographic and CT studies.
JP2025166099A (ja) 判定システム、判定システムの制御方法、および制御プログラム
JP7664438B2 (ja) 情報処理システム、情報処理方法、画像生成装置および画像生成プログラム
JP2022110399A (ja) 画像処理装置及びプログラム
WO2024181506A1 (ja) 情報処理システム、情報処理システムの制御方法、制御プログラム、記録媒体
Wirth et al. C-arm-based mobile computed tomography: a comparison with established imaging on the basis of simulated treatments of talus neck fractures in a cadaveric study
Krakowski et al. Usefulness of rapid prototyping in planning complex trauma surgeries
Bartoníček et al. Valgus intertrochanteric osteotomy for coxa vara of Bucholz–Ogden Types II and III in patients older than 30 years
Barreto et al. P50. Optimizing preoperative decision-making for spinal degeneration: automated segmentation and finite element analysis to evaluate bone quality
Papaloucas et al. Quantitative Radiographic Assessment of Cancellous Bone Changes in the Proximal Tibia After Total Knee Arthroplasty: a 3-year Follow-up Study: CD Papaloucas et al.
Khoo et al. Patterns of Bone Density Change in L4-L5 Spondylolisthesis
WO2025206282A1 (ja) 情報処理システム、予測装置、情報処理方法、制御プログラム及び記録媒体
Spina et al. Proximal junctional failure in adult spinal deformity surgery: incidence, risk factors, and management
Ivanov et al. Biomechanics as a basis for clinical decision support systems in the surgery of the spine-pelvic complex
HO BA THO Characterization and Modeling of Morphological Evolutions in Bones
Usami et al. Preoperative “software-based reduction and fixation” using a 3D workstation software for posterior malleolus intra-articular fracture: A case report
Okano et al. Bone mineral densities in patients with developmental dysplasia of the hip
Rojas et al. Complementary Viewpoints About Bone Quality in the Context of Prosthetic and Implant Success: A Narrative Review

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240130

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20240130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240705

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20241008

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241209

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250311

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250407

R150 Certificate of patent or registration of utility model

Ref document number: 7664438

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150