Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP7170897B2 - 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル - Google Patents
[go: Go Back, main page]

JP7170897B2 - 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル - Google Patents

学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル Download PDF

Info

Publication number
JP7170897B2
JP7170897B2 JP2021551419A JP2021551419A JP7170897B2 JP 7170897 B2 JP7170897 B2 JP 7170897B2 JP 2021551419 A JP2021551419 A JP 2021551419A JP 2021551419 A JP2021551419 A JP 2021551419A JP 7170897 B2 JP7170897 B2 JP 7170897B2
Authority
JP
Japan
Prior art keywords
image
target
teacher
network
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021551419A
Other languages
English (en)
Other versions
JPWO2021066068A5 (ja
JPWO2021066068A1 (ja
Inventor
彰 工藤
嘉郎 北村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2021066068A1 publication Critical patent/JPWO2021066068A1/ja
Publication of JPWO2021066068A5 publication Critical patent/JPWO2021066068A5/ja
Application granted granted Critical
Publication of JP7170897B2 publication Critical patent/JP7170897B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three-dimensional [3D] modelling for computer graphics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本開示は、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習装置、方法およびプログラム、画像生成装置、方法およびプログラム並びに画像生成モデルに関するものである。
医療分野においては、ＣＴ（Computed Tomography）装置およびＭＲＩ（Magnetic Resonance Imaging）装置等の各種モダリティの進歩により、より質の高い医用画像を用いての画像診断が可能となってきている。また、近年のＡＩ(Artificial Intelligence)技術の進歩により、機械学習されたニューラルネットワーク等からなる変換モデルを用いて、あるドメインの画像を異なるドメインの画像に変換することも提案されている。例えば、特表２０１８－５３５７３２号公報には、複数のＭＲＩ画像およびＣＴ画像のセットを用いて、ＭＲＩ画像が入力されると仮想ＣＴ画像を出力するモデルを生成する手法が提案されている。また、下記の非特許文献１には、ＣＴ画像とＭＲＩのＴ２強調画像とのセットを教師データとして使用して、ＣＴ画像が入力されると、ＭＲＩのＴ２強調画像を出力するモデルを生成する手法が提案されている。
また、データを作り出す「Generator」（ジェネレータ）と、データを識別する「Discriminator」（ディスクリミネータ）とを交互に学習する敵対的生成ネットワーク（Generative Adversarial Networks：GAN）が提案されている。例えば、下記の非特許文献２には、単一のジェネレータとディスクリミネータとを用いて、マルチモーダルなドメイン変換を実現するネットワークが提案されている。非特許文献２に記載された手法は、ジェネレータの入力に変換対象の画像（例えば人物の顔画像）の各種目標とする表情（例えば、金髪、黒髪、笑顔および怒り顔等）をドメインラベルとして同時に与え、ディスクリミネータにおいては、入力された画像の真偽のみならず、ドメインすなわち表情の判定も行って、ジェネレータおよびディスクリミネータを学習している。
また、下記の非特許文献３においては、シーンを複数の視点から撮影した画像を用いて、未知の視点から撮影した画像を生成する手法が提案されている。非特許文献３に記載された手法は、表現ネットワーク(representation network)および生成ネットワーク(generation network)を用意し、表現ネットワークにおいて、あるシーンを複数の視点から撮影した画像から特徴量を抽出し、特徴量から未知の目標とする視点の画像を出力するシーンモデルを生成する。そして生成ネットワークにおいて、シーンモデルおよび未知の目標とする視点に基づいて、未知の視点から見た画像が生成される。
非特許文献１：Cheng-Bin Jin, Hakil Kim, Wonmo Jung, Seongsu Joo, Ensik Park, Ahn Young Saem, In Ho Han, Jae Il Lee, Xuenan Cui "Deep CT to MR Synthesis using Paired and Unpaired Data", Sensors 2019.19(10), 2361
非特許文献２：Yunjey Choi, Minje Choi, Munyoung Kim, Jung-Woo Ha, Sunghun Kim, Jaegul Choo "StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation"，arXiv:1711.09020
非特許文献３：S. M. Ali Eslamiら、"Neural scene representation and rendering", DeepMind, 5 New Street Square, London EC4A 3TW, UK.
しかしながら、特表２０１８－５３５７３２号公報および非特許文献１に記載された手法は、モデルを学習する際に使用した表現形式の画像のみしか生成することができない。例えば、特表２０１８－５３５７３２号公報に記載された手法では、ＭＲＩ画像の入力によりＣＴ画像のみしか生成することができない。また、非特許文献１に記載された手法では、ＣＴ画像の入力によりＭＲＩのＴ２強調画像のみしか生成することができない。また、非特許文献２に記載された手法では、表現形式の変換の際に、入力された画像の表現形式に固有の特徴が失われてしまう可能性がある。また、非特許文献３に記載された手法は、処理がシーン認識に限定されている。
本開示は上記事情に鑑みなされたものであり、目標とする表現形式の画像を生成できるようにすることを目的とする。
本開示による学習装置は、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習装置であって、
画像生成モデルは、
少なくとも１つの表現形式を有する対象画像の入力により、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを出力する第１ネットワークと、
目標情報および被写体モデルが入力されると、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を出力する第２ネットワークと、
目標情報、被写体モデルおよび潜在変数が入力されると、仮想画像を出力する第３ネットワークとを有し、
特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データに基づいて、第１ネットワーク、第２ネットワークおよび第３ネットワークを学習する学習部を備える。
なお、本開示による学習装置においては、第１ネットワークは、対象画像に加えて、対象画像の表現形式を表す情報の入力により、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを出力するものであってもよい。
また、本開示による学習装置においては、画像が入力されると画像の特徴を次元圧縮した潜在変数を出力する第４ネットワークをさらに備え、
学習部は、
教師データに含まれる複数の教師画像のうち、特定の表現形式以外の他の表現形式を有する他の教師画像を第１ネットワークに入力して、教師被写体モデルを出力させ、
特定の教師情報および教師被写体モデルを第２ネットワークに入力して、教師被写体モデルの特徴を特定の教師情報に応じて次元圧縮した第１教師潜在変数を出力させ、
特定の表現形式を有する特定の教師画像を第４ネットワークに入力して、特定の教師画像の特徴を次元圧縮した第２教師潜在変数を出力させ、
第１教師潜在変数と第２教師潜在変数との相違を第１損失として用いて、第１ネットワークおよび第２ネットワークを学習するものであってもよい。
また、本開示による学習装置においては、学習部は、特定の教師情報、教師被写体モデルおよび第１教師潜在変数を第３ネットワークに入力して、特定の表現形式を有する教師仮想画像を出力させ、
教師仮想画像と特定の教師画像との相違を第２損失として用いて、第１ネットワーク、第２ネットワークおよび第３ネットワークを学習するものであってもよい。
また、本開示による学習装置においては、目標情報は、画像の種別、造影剤の有無、造影剤有りの場合の造影フェーズ、現在を基準とした前後の時間、被写体の性別および被写体の年齢の少なくとも１つを表現形式として表すものであってもよい。
また、本開示による学習装置においては、対象画像は３次元の医用画像であり、表現形式は、ＣＴ画像、ＭＲＩ画像およびＰＥＴ画像のうちの少なくとも１つの画像の種別を含むものであってもよい。
この場合、画像の種別は、ＭＲＩ画像における、Ｔ１強調画像、Ｔ２強調画像、拡散強調画像、脂肪抑制画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、造影後Ｔ１強調画像、Ｔ１強調画像(in phase)、Ｔ１強調画像(out phase)およびＴ２脂肪抑制画像の少なくとも１つを含むものであってもよい。
本開示による画像生成装置は、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成装置であって、
少なくとも１つの表現形式を有する対象画像に基づいて、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを導出する被写体モデル導出部と、
目標情報および被写体モデルに基づいて、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を導出する潜在変数導出部と、
目標情報、被写体モデルおよび潜在変数に基づいて、仮想画像を導出する仮想画像導出部とを備える。
なお、本開示による画像生成装置においては、被写体モデル導出部は、対象画像に加えて、対象画像の表現形式を表す情報にも基づいて、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを導出するものであってもよい。
また、本開示による画像生成装置においては、被写体モデル導出部、潜在変数導出部および仮想画像導出部は、それぞれ本開示による画像生成モデルの学習装置により学習された第１ネットワーク、第２ネットワークおよび第３ネットワークを有するものであってもよい。
本開示による画像生成モデルは、本開示による学習装置により学習されてなる。
本開示による学習方法は、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習方法であって、
画像生成モデルは、
少なくとも１つの表現形式を有する対象画像の入力により、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを出力する第１ネットワークと、
目標情報および被写体モデルが入力されると、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を出力する第２ネットワークと、
目標情報、被写体モデルおよび潜在変数が入力されると、仮想画像を出力する第３ネットワークとを有し、
特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データに基づいて、第１ネットワーク、第２ネットワークおよび第３ネットワークを学習する。
本開示による画像生成方法は、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成方法であって、
少なくとも１つの表現形式を有する対象画像に基づいて、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを導出し、
目標情報および被写体モデルに基づいて、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を導出し、
目標情報、被写体モデルおよび潜在変数に基づいて、仮想画像を導出する。
なお、本開示による画像生成モデルの学習方法および画像生成方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本開示による他の学習装置は、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、
画像生成モデルは、
少なくとも１つの表現形式を有する対象画像の入力により、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを出力する第１ネットワークと、
目標情報および被写体モデルが入力されると、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を出力する第２ネットワークと、
目標情報、被写体モデルおよび潜在変数が入力されると、仮想画像を出力する第３ネットワークとを有し、
プロセッサは、特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データに基づいて、第１ネットワーク、第２ネットワークおよび第３ネットワークを学習する処理を実行する。
本開示による他の画像生成装置は、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成装置であって、
コンピュータに実行させるための命令を記憶するメモリと、
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
少なくとも１つの表現形式を有する対象画像に基づいて、対象画像のそれぞれの特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを導出し、
目標情報および被写体モデルに基づいて、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を導出し、
目標情報、被写体モデルおよび潜在変数に基づいて、仮想画像を導出する処理を実行する。
本開示によれば、対象画像から目標とする表現形式を有する仮想画像を生成できる。
本開示の実施形態による学習装置および画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図 本開示の実施形態による画像生成装置の概略構成を示す図 画像生成モデルの構成を示す概略図 被写体モデルの生成を説明するための図 第２ネットワークの構成を示す図 第３ネットワークの構成を示す図 教師データの例を示す図 画像生成モデルの学習の概念図 入力される対象画像の表現形式および出力された仮想画像の表現形式を示す図 教師データの例を示す図 教師データの他の例を示す図 教師データの他の例を示す図 仮想画像の表示画面を示す図 造影フェーズが異なる複数の仮想画像を示す図 本実施形態において行われる学習処理を示すフローチャート 本実施形態において行われる画像生成処理を示すフローチャート
以下、図面を参照して本開示の実施形態について説明する。図１は、本開示の実施形態による学習装置および画像生成装置を適用した、診断支援システムの概要を示すハードウェア構成図である。図１に示すように、診断支援システムでは、本実施形態による学習装置および画像生成装置（以下、画像処理装置で代表させる）１、モダリティ２、および画像保管サーバ３が、通信ネットワーク４を経由して通信可能な状態で接続されている。
モダリティ２は、被写体である人体の診断対象となる構造物を含む部位を撮影することにより、その部位を表す３次元画像を生成する装置であり、具体的には、ＣＴ装置、ＭＲＩ装置、およびＰＥＴ（Positron Emission Tomography）装置等である。モダリティ２により生成された、複数のスライス画像からなる３次元画像は画像保管サーバ３に送信され、保存される。なお、本実施形態においては、モダリティ２として、ＣＴ装置２ＡおよびＭＲＩ装置２Ｂを含むものとする。ＣＴ装置２ＡおよびＭＲＩ装置２Ｂは、患者の血管に造影剤を注入して、造影剤の広がりを確認するための造影撮影を行うことが可能であるものとする。また、ＭＲＩ装置２Ｂは、Ｔ１強調画像およびＴ２強調画像等の任意の表現形式のＭＲＩ画像を生成可能なものとする。
ここで、医用画像はＣＴ画像およびＭＲＩ画像のように画像の種別が異なると、画像の表現形式が異なる。例えば、画像に含まれる人体の組織が同じであっても、ＣＴ画像とＭＲＩ画像とでは濃度が異なるものとなる。また、同じＭＲＩ画像であっても、Ｔ１強調画像とＴ２強調画像とでは、それぞれ表現形式が異なる。具体的には、Ｔ１強調画像では、主に脂肪組織が白く見え、水、液性成分および嚢胞は黒く見え、腫瘍はやや黒く見える。また、Ｔ２強調画像では、脂肪組織だけでなく、水、液性成分および嚢胞も白く見える。このため、ＣＴ画像、Ｔ１強調画像およびＴ２強調画像はそれぞれ表現形式が異なる画像となる。
また、造影剤を使用して撮影を行うことにより取得されたＣＴ画像と、造影剤を使用しないで撮影を行うことにより取得された非造影のＣＴ画像とでは、造影剤の有無により画像の見え方が異なる。このため、造影剤の有無により画像の表現形式が異なるものとなる。また、造影剤を使用して撮影を行った場合、時間の経過により造影剤の広がり方が変化する。このため、造影剤を注入してからの経過時間（造影フェーズ）に応じて、画像の表現形式が異なるものとなる。また、同一被写体の同一構造部に含まれる病変等の異常部位は、時間の経過により大きさおよび濃度等が変化するため、見え方が異なるものとなる。このため、現在を基準とした前後の時間において、画像の表現形式が異なるものとなる。
画像保管サーバ３は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。画像保管サーバ３は、有線あるいは無線の通信ネットワーク４を介して他の装置と通信を行い、画像データ等を送受信する。具体的にはモダリティ２で生成された医用画像の画像データを含む各種データをネットワーク経由で取得し、大容量外部記憶装置等の記録媒体に保存して管理する。なお、画像データの格納形式および通信ネットワーク４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。また、本実施形態においては、画像保管サーバ３は、後述する複数の教師データも保管して管理している。
本実施形態の学習装置を含む画像生成装置１は、１台のコンピュータに、本実施形態の画像生成プログラムおよび学習プログラムをインストールしたものである。コンピュータは、診断を行う医師が直接操作するワークステーションまたはパーソナルコンピュータでもよいし、それらとネットワークを介して接続されたサーバコンピュータでもよい。画像生成プログラムおよび学習プログラムは、ネットワークに接続されたサーバコンピュータの記憶装置、もしくはネットワークストレージに、外部からアクセス可能な状態で記憶され、要求に応じて医師が使用するコンピュータにダウンロードされ、インストールされる。または、ＤＶＤ（Digital Versatile Disc）あるいはＣＤ－ＲＯＭ（Compact Disc Read Only Memory）等の記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされる。
図２は、コンピュータに画像生成プログラムおよび学習プログラムをインストールすることにより実現される画像生成装置の概略構成を示す図である。図２に示すように、画像生成装置１は、標準的なワークステーションの構成として、ＣＰＵ（Central Processing Unit）１１、メモリ１２およびストレージ１３を備えている。また、画像生成装置１には、液晶ディスプレイ等の表示部１４、並びにキーボードおよびマウス等の入力部１５が接続されている。
ストレージ１３はハードディスクドライブ等からなり、通信ネットワーク４を経由して画像保管サーバ３から取得した、仮想画像を生成する対象となる少なくとも１つの対象画像、後述するように画像生成装置を構成するネットワークの学習を行うための教師データ、および処理に必要な情報を含む各種情報が記憶されている。
また、メモリ１２には、画像生成プログラムおよび学習プログラムが記憶されている。画像生成プログラムは、特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および対象画像の目標とされる表現形式を表す目標情報が入力されると、対象画像から目標とされる表現形式を有する仮想画像を導出する画像生成処理をＣＰＵ１１に実行させる。具体的には、画像生成プログラムは、ＣＰＵ１１に実行させる処理として、少なくとも１つの対象画像および目標情報を取得する情報取得処理、少なくとも１つの対象画像から特徴量を導出し、特徴量を合成することにより、被写体を表す被写体モデルを導出する被写体モデル導出処理、目標情報および被写体モデルに基づいて、被写体モデルの特徴を目標情報に応じて次元圧縮した潜在変数を導出する潜在変数導出処理、目標情報、被写体モデルおよび潜在変数に基づいて、目標とされる表現形式を有する仮想画像を導出する仮想画像導出処理、並びに仮想画像を表示部１４に表示する表示制御処理を規定する。
学習プログラムは、ＣＰＵ１１に実行させる処理として、画像生成装置に含まれる画像生成モデルの学習を行うための教師データを含む各種情報を取得する情報取得処理、および画像生成モデルの学習を行う学習処理を規定する。
そして、ＣＰＵ１１が画像生成プログラムおよび学習プログラムに従いこれらの処理を実行することで、コンピュータは、情報取得部２０、被写体モデル導出部２１、潜在変数導出部２２、仮想画像導出部２３、表示制御部２４および学習部２５として機能する。
情報取得部２０は、通信ネットワーク４に接続されたインターフェース（不図示）を介して、画像保管サーバ３から、少なくとも１つの表現形式を有する少なくとも１つの対象画像Ｇｉ（ｉ＝１～ｎ）および対象画像Ｇｉのそれぞれについての表現形式を表す情報ｔｉを取得する。また、情報取得部２０は、入力部１５からの入力等により、対象画像Ｇｉの目標とされる表現形式を表す目標情報Ａ０を取得する。また、情報取得部２０は、特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データを取得する。なお、一度の処理において複数の対象画像Ｇｉが使用される場合、画像生成装置１に入力される複数の対象画像Ｇｉは、同一の患者についての同一の構造物を含む、表現形式が異なる画像である。また、目標情報Ａ０は、生成される仮想画像Ｖ０の目標とされる表現形式を表す情報である。目標とされる表現形式は、例えば、画像の種別、造影剤の有無、造影フェーズおよび現在を基準とした前後の時間等の少なくとも１つを用いることができる。
ここで、対象画像および教師画像に含まれる被写体の特定の構造物は同一の構造物である。例えば、対象画像に含まれる構造物が肝臓であれば、教師画像に含まれる構造物も肝臓である。以下、特定の構造物は肝臓であるとして説明する。
被写体モデル導出部２１は、対象画像Ｇｉおよび対象画像Ｇｉの表現形式を表す情報ｔｉに基づいて特徴量を導出し、特徴量を合成することにより、被写体内の特定の構造物を表す被写体モデルＭ０を導出する。このため、被写体モデル導出部２１は、少なくとも１つの対象画像Ｇｉおよび対象画像Ｇｉの表現形式を表す情報ｔｉが入力されると、入力された対象画像Ｇｉの特徴量を導出し、さらに複数の対象画像Ｇｉが入力されて複数の特徴量が導出された場合に、複数の特徴量を合成することにより、被写体を表す被写体モデルＭ０を出力する第１ネットワーク３１を有する。本実施形態においては、被写体は人体であるため、被写体モデルＭ０は人体モデルということができる。
潜在変数導出部２２は、目標情報Ａ０および被写体モデルＭ０に基づいて、被写体モデルＭ０の特徴を目標情報Ａ０に応じて次元圧縮した潜在変数ｚ１を導出する。このために、潜在変数導出部２２は、目標情報Ａ０および被写体モデルＭ０が入力されると、潜在変数ｚ１を出力する第２ネットワーク３２を有する。潜在変数ｚ１については後述する。
仮想画像導出部２３は、目標情報Ａ０、被写体モデルＭ０および潜在変数ｚ１に基づいて、目標情報Ａ０により表される目標とされる表現形式を有する仮想画像Ｖ０を導出する。このために、仮想画像導出部２３は、目標情報Ａ０、被写体モデルＭ０および潜在変数ｚ１が入力されると、仮想画像Ｖ０を導出する第３ネットワーク３３を有する。
なお、図３においては、第１ネットワーク３１、第２ネットワーク３２および第３ネットワーク３３を、それぞれ被写体モデル導出部２１、潜在変数導出部２２および仮想画像導出部２３に含まれるものとして別々に図示しているが、第１ネットワーク３１、第２ネットワーク３２および第３ネットワーク３３が本開示の画像生成モデルを構成する。
図３は、画像生成モデルの構成を示す概略図である。図３に示すように、画像生成モデル３０は、第１ネットワーク３１、第２ネットワーク３２および第３ネットワーク３３を有する。第１ネットワーク３１は、畳み込みニューラルネットワーク（ＣＮＮ(Convolutional Neural Network)）３１Ａおよび合成部３１Ｂを有する。ＣＮＮ３１Ａは、複数の畳み込み層およびプーリング層が階層的に接続されてなる。畳み込み層は、入力される画像に対して各種カーネルを用いた畳み込み処理を行い、畳み込み処理により得られた特徴量からなる特徴量マップを出力する。カーネルは、ｎ×ｎ画素サイズ（例えばｎ＝３）を有し、各要素に重みが設定されている。具体的には入力された画像のエッジを強調する微分フィルタのような重みが設定されている。畳み込み層は、カーネルの注目画素をずらしながら、入力された画像または前段の処理層から出力された特徴量マップの全体にカーネルを適用する。さらに、畳み込み層は、畳み込みされた値に対して、シグモイド関数等の活性化関数を適用し、特徴量マップを出力する。
プーリング層は、畳み込み層が出力した特徴量マップをプーリングすることにより、特徴量マップのデータ量を低減して、データ量が低減された特徴量マップを出力する。
なお、後段の処理層は、特徴量マップがアップサンプリングしつつ、特徴量マップを出力する。
そして、各処理層において特徴量マップの出力、プーリングおよびアップサンプリングを繰り返すことにより、ＣＮＮ３１Ａの最終層からは、入力された対象画像Ｇｉの各画素についての特徴量が特徴ベクトルとして出力される。特徴ベクトルは、要素数がｎ個の１次元のベクトルである。本実施形態においては、第１ネットワーク３１に入力された対象画像Ｇｉが１つである場合、出力された特徴ベクトルそのものが被写体モデルＭ０となる。
一方、第１ネットワーク３１に入力される対象画像Ｇｉが２つであった場合、２つの対象画像（第１の対象画像Ｇ１および第２の対象画像Ｇ２とする）のそれぞれについて出力された特徴ベクトルｒ１，ｒ２を、合成部３１Ｂが合成することにより、被写体モデルＭ０を導出する。図４は合成による被写体モデルＭ０の生成を説明するための図である。図４に示すように、第１および第２の対象画像Ｇ１，Ｇ２およびこれらの表現形式を表す情報ｔ１，ｔ２が第１ネットワーク３１のＣＮＮ３１Ａに入力され、第１の対象画像Ｇ１のある画素ｘにおいて、第１の特徴ベクトルｒ１（ａ１，ａ２…ａｎ）が導出され、第２の対象画像Ｇ２の画素ｘに対応する画素において、第２の特徴ベクトルｒ２（ｂ１，ｂ２…ｂｎ）が導出されたとする。
合成部３１Ｂは、第１の対象画像Ｇ１および第２の対象画像Ｇ２の対応する画素間において、第１の特徴ベクトルｒ１と第２の特徴ベクトルｒ２との対応する要素同士を加算することにより、被写体モデルＭ０を導出する。被写体モデルＭ０は入力された対象画像Ｇｉと同一の画素数を有し、各画素に対して合成された特徴ベクトルが割り当てられてなる。なお、加算に代えて、２つの特徴ベクトルｒ１，ｒ２の対応する要素間の平均値、中央値等の代表値を導出することにより、２つの特徴ベクトルｒ１，ｒ２を合成してもよい。ここで、図４においては、ＣＮＮ３１Ａを２つ並べて記載しているが、第１ネットワーク３１に含まれるＣＮＮ３１Ａは１つのみであってもよく、複数であってもよい。ＣＮＮ３１Ａが複数ある場合、複数のＣＮＮ３１Ａのそれぞれは同一の学習がなされて構築される。
なお、本実施形態においては、対象画像Ｇｉが複数使用される場合、複数の対象画像Ｇｉは正規化されている。すなわち、各対象画像Ｇｉに含まれる被写体のサイズおよび空間的な位置を一致させる位置合わせ処理、並びに細かな構造の差異およびノイズを除去するための平滑化処理等が施されている。
第２ネットワーク３２は、目標情報Ａ０および被写体モデルＭ０が入力されると、被写体モデルＭ０の特徴を、目標情報Ａ０に応じて次元圧縮した第１潜在変数ｚ１を出力する。第２ネットワーク３２は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワークからなるが、第１ネットワーク３１のＣＮＮ３１Ａとは異なり、入力された被写体モデルＭ０の特徴を、目標情報Ａ０に応じて次元圧縮するエンコーダとしての機能を有する。図５は第２ネットワークを説明するための図である。図５に示すように、第２ネットワーク３２は、入力層３２Ａ、少なくとも１つの中間層３２Ｂおよび出力層３２Ｃからなり、入力層３２Ａよりも出力層３２Ｃの次元が小さくなっている。
そして、第２ネットワーク３２は、目標情報Ａ０および被写体モデルＭ０が入力層３２Ａに入力されると、目標情報Ａ０により表される目標とされる表現形式を有する仮想画像Ｖ０を導出可能なように、被写体モデルＭ０の特徴を表す情報の情報量を少なくする（圧縮する）処理を行い、出力層３２Ｃから潜在変数ｚ１を出力する。潜在変数ｚ１は、被写体モデルＭ０の特徴を表すものの、被写体モデルＭ０よりも次元数が少ない情報からなるものとなる。これにより、第２ネットワーク３２からは被写体モデルＭ０の特徴を、入力された目標情報Ａ０に応じて次元圧縮した潜在変数ｚ１が出力される。
第３ネットワーク３３は、目標情報Ａ０、被写体モデルＭ０および潜在変数ｚ１が入力されると、目標情報Ａ０により表される目標とされる表現形式を有する仮想画像Ｖ０を出力する。第３ネットワーク３３は、複数の処理層が階層的に接続された多層ニューラルネットワークの１つである、畳み込みニューラルネットワークからなり、入力された被写体モデルＭ０および潜在変数ｚ１を再構成することにより仮想画像Ｖ０を再構成するデコーダとしての機能を有する。図６は第３ネットワークを説明するための図である。図６に示すように、第３ネットワーク３３は、入力層３３Ａ、少なくとも１つの中間層３３Ｂおよび出力層３３Ｃからなり、入力層３３Ａよりも出力層３３Ｃの次元が大きくなっている。
そして、第３ネットワーク３３は、目標情報Ａ０、被写体モデルＭ０および潜在変数ｚ１が入力されると、仮想画像Ｖ０を再構成する処理を行い、出力層３３Ｃから仮想画像Ｖ０を出力する。これにより、第３ネットワーク３３からは目標とされる表現形式を有する仮想画像Ｖ０が出力される。
学習部２５は、複数の教師データを用いて、画像生成モデル３０を学習する。すなわち、学習部２５は、被写体モデル導出部２１が有する第１ネットワーク３１、潜在変数導出部２２が有する第２ネットワーク３２、および仮想画像導出部２３が有する第３ネットワーク３３を学習する。このために、学習部２５は、ある表現形式の画像が学習のために入力されると、その表現形式の画像の特徴を次元圧縮した潜在変数ｚ２を出力する第４ネットワーク３４を有する。第４ネットワーク３４はエンコーダとしての機能を有し、第２ネットワーク３２と類似する構成を有する。潜在変数ｚ２は、入力された画像の特徴を表すものの、入力された画像よりも次元数が少ない情報からなるものとなる。
本実施形態においては、第４ネットワーク３４は、学習時にのみ使用される。このため、本実施形態においては、学習部２５が第４ネットワーク３４を有するものとするが、これに限定されるものではない。なお、第２ネットワーク３２が出力する潜在変数ｚ１を第１潜在変数、第４ネットワーク３４が出力する潜在変数ｚ２を第２潜在変数と称するものとする。また、第１潜在変数ｚ１と第２潜在変数ｚ２との次元は同一であるものとする。
図７は教師データの例を示す図である。図７に示す教師データ４０は、例として３つの教師画像Ｋ１～Ｋ３を含む。教師画像Ｋ１の画像の種別はＣＴ画像、教師画像Ｋ２の画像の種別はＭＲＩのＴ１強調画像、教師画像Ｋ３の画像の種別はＭＲＩのＴ２強調画像である。また、教師データ４０は、教師画像Ｋ３についての表現形式を表す教師情報ＫＪを含む。本実施形態においては、教師情報ＫＪはＴ２強調画像であるため、教師情報ＫＪはＴ２強調画像の種別を表現形式として表すものとなる。なお、教師データ４０には、教師画像Ｋ１，Ｋ２の画像の種別、すなわち表現形式を表す情報を含むものとしてもよい。本実施形態においては、教師データ４０には、教師画像Ｋ１，Ｋ２の画像の種別、すなわち表現形式を表す情報を含むものとする。１つの教師データに含まれる複数の教師画像は、それぞれ異なる表現形式の画像が取得されるように、モダリティ２において同一被写体についての同一部位を撮影することに取得されたものである。例えば、ＣＴ画像である教師画像Ｋ１はＣＴ装置２Ａにより取得され、Ｔ１強調画像である教師画像Ｋ２およびＴ２強調画像である教師画像Ｋ３は、それぞれＭＲＩ装置２Ｂにより取得される。ここで、図７においては、教師画像Ｋ１～Ｋ３の表現形式の相違を、教師画像Ｋ１～Ｋ３に異なるハッチングを付与することにより表している。
なお、複数の教師画像Ｋ１～Ｋ３は学習のために正規化されている。すなわち、複数の教師画像Ｋ１～Ｋ３の空間的な位置を一致させる位置合わせ処理、および細かな構造の差異およびノイズを除去するための平滑化処理等が施されている。
図８は、画像生成モデルの学習の概念図である。まず、学習時においては、第１ネットワーク３１には、教師データ４０に含まれる教師画像が入力される。具体的には、教師情報ＫＪにより表される表現形式を有する教師画像以外の他の教師画像が入力される。例えば、図７に示す教師データ４０においては、教師情報ＫＪはＴ２強調画像の表現形式を表す。このため、教師データ４０に含まれる、Ｔ２強調画像である教師画像Ｋ３以外の、ＣＴ画像である教師画像Ｋ１およびＴ１強調画像である教師画像Ｋ２が第１ネットワーク３１に入力される。なお、教師画像Ｋ１，Ｋ２の表現形式を表す情報Ｋｔ１，Ｋｔ２も第１ネットワーク３１に入力される。これにより、第１ネットワーク３１のＣＮＮ３１Ａからは、教師画像Ｋ１についての特徴ベクトルおよび教師画像Ｋ２についての特徴ベクトルが出力される。そして合成部３１Ｂにおいて２つの特徴ベクトルが合成されて教師被写体モデルＫＭが導出される。
また、第２ネットワーク３２には、図７に示す教師データ４０に含まれる教師情報ＫＪおよび第１ネットワーク３１から出力された教師被写体モデルＫＭが入力される。これにより、第２ネットワーク３２は、教師被写体モデルＫＭの特徴を教師情報ＫＪに応じて次元圧縮した第１潜在変数ｚ１である第１教師潜在変数Ｋｚ１を出力する。
また、第３ネットワーク３３には、図７に示す教師データ４０に含まれる教師情報ＫＪ、第１ネットワーク３１から出力された教師被写体モデルＫＭおよび第２ネットワーク３２から出力された第１教師潜在変数Ｋｚ１が入力される。これにより、第３ネットワーク３３は、教師情報ＫＪにより表される表現形式を有する、すなわちＴ２強調画像の表現形式を有する教師仮想画像ＫＶ０を出力する。
また、第４ネットワーク３４には、図７に示す教師データ４０に含まれる教師情報ＫＪに対応する表現形式の教師画像Ｋ３（ここではＴ２強調画像）が入力される。これにより、第４ネットワーク３４は、教師画像Ｋ３の特徴を次元圧縮した第２潜在変数ｚ２である第２教師潜在変数Ｋｚ２を出力する。
そして、学習部２５は、第１の教師潜在変数Ｋｚ１と第２の教師潜在変数Ｋｚ２との相違を第１損失Ｌ１として導出する。そして、第１損失Ｌ１を用いて、第１ネットワーク３１および第２ネットワーク３２を学習する。ここで、第２ネットワーク３２から出力される第１教師潜在変数Ｋｚ１は、教師情報ＫＪおよび教師被写体モデルＫＭに基づいて導出される。このため、第１教師潜在変数Ｋｚ１は、教師情報ＫＪにより表される表現形式を有する教師画像Ｋ３に基づいて第４ネットワーク３４から出力された第２教師潜在変数Ｋｚ２は異なるものとなるが、第１教師潜在変数Ｋｚ１と第２教師潜在変数Ｋｚ２との相違が小さいほど、第３ネットワーク３３からはより好ましい仮想画像Ｖ０を出力することが可能となる。
このために、本実施形態においては、学習部２５は、第１損失Ｌ１を小さくするように、第１ネットワーク３１のＣＮＮ３１Ａおよび第２ネットワーク３２を学習する。具体的には、ＣＮＮ３１Ａに関しては、学習部２５は、第１損失Ｌ１が予め定められたしきい値Ｔｈ１以下となるように、ＣＮＮ３１Ａを構成する畳み込み層の数、プーリング層の数、畳み込み層におけるカーネルの係数、カーネルの大きさおよび各層間の結合の重み等を導出することにより、ＣＮＮ３１Ａの学習を行う。また、第２ネットワーク３２に関しては、学習部２５は、第１損失Ｌ１が予め定められたしきい値Ｔｈ１以下となるように、第２ネットワーク３２を構成する畳み込み層の数、プーリング層の数、畳み込み層におけるカーネルの係数、カーネルの大きさおよび各層間の結合の重み等を導出することにより、第２ネットワーク３２の学習を行う。
これにより、第１ネットワーク３１は、少なくとも１つの対象画像Ｇｉが入力されると、目標とされる表現形式を有する仮想画像Ｖ０を導出可能な第１潜在変数ｚ１を、第２ネットワーク３２が出力可能な被写体モデルＭ０を出力するものとなる。また、第２ネットワーク３２は、第１ネットワーク３１が出力した被写体モデルＭ０が入力されると、目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な第１潜在変数ｚ１を出力するものとなる。なお、学習部２５は、第１損失Ｌ１が予め定められたしきい値Ｔｈ１以下となるように学習を行うことに代えて、予め定められた回数の学習を行うものであってもよい。
また、学習部２５は、第３ネットワーク３３が出力した教師仮想画像ＫＶ０と教師情報ＫＪにより表される表現形式を有する教師画像Ｋ３との相違を第２損失Ｌ２として導出する。そして、第２損失Ｌ２を用いて、第１ネットワーク３１、第２ネットワーク３２および第３ネットワーク３３を学習する。ここで、第３ネットワーク３３から出力される教師仮想画像ＫＶ０は、教師情報ＫＪ、教師被写体モデルＫＭおよび第１教師潜在変数Ｋｚ１に基づいて導出される。このため、教師仮想画像ＫＶ０は教師情報ＫＪにより表される表現形式を有する教師画像Ｋ３とは異なるものとなるが、教師仮想画像ＫＶ０と教師画像Ｋ３との相違が小さいほど、第３ネットワーク３３からはより好ましい仮想画像Ｖ０を出力することが可能となる。
このために、本実施形態においては、学習部２５は、第２損失Ｌ２を小さくするように、第１ネットワーク３１のＣＮＮ３１Ａ、第２ネットワーク３２および第３ネットワーク３３を学習する。具体的には、ＣＮＮ３１Ａに関しては、学習部２５は、第２損失Ｌ２が予め定められたしきい値Ｔｈ２以下となるように、ＣＮＮ３１Ａを構成する畳み込み層の数、プーリング層の数、畳み込み層におけるカーネルの係数、カーネルの大きさおよび各層間の結合の重み等を導出することにより、ＣＮＮ３１Ａの学習を行う。なお、ＣＮＮ３１Ａは第１損失Ｌ１および第２損失Ｌ２の双方に基づいて学習されることとなる。
また、第２ネットワーク３２に関しては、学習部２５は、第２損失Ｌ２が予め定められたしきい値Ｔｈ２以下となるように、第２ネットワーク３２を構成する畳み込み層の数、プーリング層の数、畳み込み層におけるカーネルの係数、カーネルの大きさおよび各層間の結合の重み等を導出することにより、第２ネットワーク３２の学習を行う。なお、第２ネットワーク３２も第１損失Ｌ１および第２損失Ｌ２の双方に基づいて学習されることとなる。
また、第３ネットワーク３３に関しては、学習部２５は、第２損失Ｌ２が予め定められたしきい値Ｔｈ２以下となるように、第３ネットワーク３３を構成する畳み込み層の数、プーリング層の数、畳み込み層におけるカーネルの係数、カーネルの大きさおよび各層間の結合の重み等を導出することにより、第３ネットワーク３３の学習を行う。
これにより、第１ネットワーク３１のＣＮＮ３１Ａは、目標情報Ａ０により表される表現形式を有する仮想画像Ｖ０を導出可能な第１潜在変数ｚ１を第２ネットワーク３２が出力可能であり、かつ目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な被写体モデルＭ０を出力するものとなる。また、第２ネットワーク３２は、目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な第１潜在変数ｚ１を出力するものとなる。また、第３ネットワーク３３は、目標情報Ａ０、第１ネットワーク３１が出力した被写体モデルＭ０、および第２ネットワーク３２が出力した第１潜在変数ｚ１が入力されると、目標とされる表現形式を有する仮想画像Ｖ０を出力するものとなる。
ここで、教師データとして使用する教師画像としては、上述したようにＣＴ装置２Ａにより取得されたＣＴ画像、並びにＭＲＩ装置２Ｂにより取得されたＴ１強調画像およびＴ２強調画像の他、任意の種別の画像を用いることができる。例えば、１つの教師データに含められるＭＲＩ画像としては、Ｔ１強調画像およびＴ２強調画像の他、拡散強調画像、脂肪抑制画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、造影後Ｔ１強調画像、Ｔ１強調画像(in phase)、Ｔ１強調画像(out phase)およびＴ２脂肪抑制画像等、任意の種別のＭＲＩ画像を用いることができる。この場合、ＣＴ画像およびＭＲＩ画像等の画像の種別を表現形式として表す教師情報ＫＪを用いればよい。
このような、各種表現形式のＣＴ画像およびＭＲＩ画像を教師画像として使用し、ＣＴ画像およびＭＲＩ画像等の画像の種別を表現形式として表す教師情報ＫＪを使用することにより、任意の表現形式の少なくとも１つの対象画像Ｇｉおよび教師情報ＫＪとして使用した表現形式を表す目標情報Ａ０を画像生成装置１に入力すると、目標情報Ａ０により表される表現形式を有する仮想画像Ｖ０が生成されるようになる。例えば、対象画像ＧｉがＣＴ画像およびＭＲＩのＴ１強調画像であり、目標情報Ａ０により表される表現形式がＭＲＩのＴ２強調画像であった場合、ＣＴ画像およびＴ１強調画像から、ＭＲＩのＴ２強調画像の表現形式の仮想画像Ｖ０を生成することができるようになる。
図９は入力される対象画像の表現形式および出力された仮想画像の表現形式を示す図である。なお、図９においては、左側の列が入力される対象画像であり、表現形式としての画像の種別が、上から順に造影後Ｔ１強調画像、Ｔ１強調画像（out phase)、Ｔ２強調画像および造影後Ｔ１強調画像となっている。また、左側から３列目から８列目が変換された表現形式の仮想画像Ｖ０を示している。表現形式としての画像の種別は、左側３列目から順に、それぞれＣＴ画像、造影後Ｔ１強調画像、Ｔ１非造影画像、Ｔ１強調画像(in phase)、Ｔ１強調画像(out phase)およびＴ２脂肪抑制画像である。本実施形態によれば、図９に示すように、各種表現形式の教師データを用いることにより、入力される対象画像Ｇｉの表現形式に拘わらず、目標とされる表現形式を有する仮想画像Ｖ０が生成されるようになる。
また、ＣＴ撮影を行う際に、造影剤を使用する場合および造影剤を使用しない場合がある。このため、図１０に示すように、造影剤を使用することにより取得されたＣＴ画像Ｋ１１および造影剤を使用しないで取得されたＣＴ画像Ｋ１２を、１つの教師データ４１に含めることができる。この場合、ＣＴ画像における造影剤の有無の表現形式を表す教師情報ＫＪを教師データ４１に含めることができる。図１０においては、造影剤有りの表現形式を表す教師情報ＫＪを教師データ４１に含めている。また、図１０においては教師画像Ｋ１１における造影剤の領域をハッチングで示している。
このように、造影剤を使用することにより取得されたＣＴ画像および造影剤を使用しないで取得されたＣＴ画像を教師画像Ｋ１１，Ｋ１２として含み、造影剤の有無の表現形式を表す教師情報ＫＪとして含む教師データ４１を用いて画像生成モデル３０を学習することにより、任意の表現形式の少なくとも１つの対象画像Ｇｉおよび造影剤の有無の表現形式を表す目標情報Ａ０を画像生成装置１に入力すると、目標情報Ａ０に応じて、造影されたまたは非造影の表現形式を有する仮想画像Ｖ０が生成されるようになる。例えば、対象画像Ｇｉが１つの非造影のＭＲＩ画像であり、目標情報Ａ０がＣＴの造影剤有りであった場合、画像生成装置１により、造影剤を使用して撮影を行ったＭＲＩ画像の表現形式を有する仮想画像Ｖ０を生成することができるようになる。
また、造影剤を用いて撮影を行う場合、図１１に示すように、造影剤を注入してからの経過時間が異なる複数のＣＴ画像を、教師画像Ｋ２１～Ｋ２３として１つの教師データ４２に含めてもよい。この場合、ＣＴ画像における造影剤を注入してからの経過時間を表す造影フェーズの表現形式を表す教師情報ＫＪを用いればよい。図１１においては、造影フェーズとして３０秒の表現形式を表す教師情報ＫＪを教師データ４２に含めている。また、図１１においては、教師画像Ｋ２１は造影前、教師画像Ｋ２２の造影フェーズは例えば１０秒、教師画像Ｋ２３の造影フェーズは３０秒である。
このように、造影剤を注入してからの経過時間が異なるＣＴ画像を教師画像Ｋ２１～Ｋ２３として含み、造影フェーズの表現形式を表す教師情報ＫＪを含む教師データ４２を用いて画像生成モデル３０を学習することにより、任意の表現形式の少なくとも１つの対象画像Ｇｉおよび造影フェーズの表現形式を表す目標情報Ａ０を画像生成装置１に入力すると、目標情報Ａ０に応じた造影フェーズの表現形式を有する仮想画像Ｖ０が生成されるようになる。例えば、対象画像Ｇｉが１つの非造影のＭＲＩ画像であり、目標情報Ａ０により表される造影フェーズが３０秒であった場合、画像生成装置１により、造影剤を注入してから３０秒経過後のＭＲＩ画像の表現形式を有する仮想画像Ｖ０を生成することができるようになる。
また、本実施形態においては、図１２に示すように、同一被写体の同一部位について、撮影日時が異なる教師画像Ｋ３１～Ｋ３３を含む教師データ４３を用いることができる。図１２に示す教師データ４３は、同一被写体の同一部位について、当日の撮影により取得したＣＴ画像、１年前の撮影により取得したＣＴ画像および３年前に取得したＣＴ画像を、それぞれ教師画像Ｋ３１～Ｋ３３として含む。この場合、現在を基準とした前後の時間（例えば１年前、３年前、１年後、３年後等）の表現形式を表す教師情報ＫＪを用いればよい。
このような撮影日時が異なる画像を教師画像Ｋ３１～Ｋ３３として含み、現在を基準とした前後の時間の表現形式を表す教師情報ＫＪを含む教師データ４３を用いて画像生成モデル３０を学習することにより、任意の表現形式の少なくとも１つの対象画像Ｇｉおよび現在からの前後の時間の表現形式を表す目標情報Ａ０を画像生成装置１に入力すると、目標情報Ａ０に応じた撮影時期の表現形式を有する仮想画像Ｖ０が生成されるようになる。例えば、対象画像Ｇｉが１つの現在のＭＲＩ画像であり、目標情報Ａ０により表される表現形式が３年前であった場合、画像生成装置１により、３年前のＭＲＩ画像の表現形式を有する仮想画像Ｖ０を生成することができるようになる。
なお、教師データとして使用する教師画像としては、単純放射線により取得された２次元放射線画像を用いることも可能である。但し、いずれの教師データも、同一被写体についての同一部位を撮影することにより取得されたものである必要がある。
表示制御部２４は、仮想画像導出部２３が出力した仮想画像Ｖ０を表示部１４に表示する。図１３は仮想画像Ｖ０の表示画面を示す図である。なお、ここでは、２つの対象画像Ｇ１，Ｇ２から１つの仮想画像Ｖ０が生成されたものとして説明する。図１３に示すように、表示画面５０には、２つの対象画像Ｇ１，Ｇ２および仮想画像Ｖ０が表示されている。対象画像Ｇ１，Ｇ２は、例えばそれぞれＣＴ画像およびＴ１強調画像であり、仮想画像Ｖ０はＴ２強調画像である。
なお、複数の造影フェーズの表現形式を表す目標情報Ａ０を用いることにより、造影剤が広がる状態を表す複数の仮想画像Ｖ０を生成することが可能となる。例えば、図１４に示すように、３０秒、１分および２分という時間の経過に応じて、造影剤が広がる様子を確認できる複数の仮想画像Ｖ０を生成することが可能となる。
次いで、本実施形態において行われる処理について説明する。図１５は本実施形態において行われる学習処理を示すフローチャートである。なお、複数の教師データは画像保管サーバ３から取得されてストレージ１３に保存されているものとする。まず、学習部２５は１つの教師データ４０をストレージ１３から取得し（ステップＳＴ１）、教師データ４０に含まれる、教師情報ＫＪにより表される表現形式の教師画像Ｋ３以外の表現形式の他の教師画像Ｋ１，Ｋ２および教師画像Ｋ１，Ｋ２の表現形式を表す情報Ｋｔ１，Ｋｔ２を、第１ネットワーク３１に入力する。第１ネットワーク３１は、教師画像Ｋ１，Ｋ２から特徴量を導出し、特徴量を合成することにより教師被写体モデルＫＭを出力する（ステップＳＴ２）。また、学習部２５は、教師被写体モデルＫＭおよび教師情報ＫＪを第２ネットワーク３２に入力する。第２ネットワーク３２は、教師被写体モデルＫＭの特徴を教師情報ＫＪに応じて次元圧縮した第１潜在変数ｚ１である第１教師潜在変数Ｋｚ１を出力する（ステップＳＴ３）。
また、学習部２５は、教師情報ＫＪにより表される表現形式の教師画像Ｋ３を第４ネットワーク３４に入力する。第４ネットワーク３４は、教師画像Ｋ３の特徴を次元圧縮した第２潜在変数ｚ２である第２教師潜在変数Ｋｚ２を出力する（ステップＳＴ４）。さらに、学習部２５は、教師情報ＫＪ、教師被写体モデルＫＭおよび第１教師潜在変数Ｋｚ１を第３ネットワーク３３に入力する。第３ネットワーク３３は、教師情報ＫＪにより表される表現形式を有する教師仮想画像ＫＶ０を出力する（ステップＳＴ５）。なお、ステップＳＴ４の処理は、ステップＳＴ１～ＳＴ３およびステップＳＴ５の処理のいずれと並列に行ってもよく、いずれの処理と前後してもよい。
次いで、学習部２５は、第１教師潜在変数Ｋｚ１と第２教師潜在変数Ｋｚ２との相違を第１損失Ｌ１として導出する（ステップＳＴ６）。また、学習部２５は、教師仮想画像ＫＶ０と教師画像Ｋ３との相違を第２損失Ｌ２として導出する（ステップＳＴ７）。そして、学習部２５は、第１損失Ｌ１および第２損失Ｌ２がそれぞれ予め定められたしきい値Ｔｈ１、Ｔｈ２以下となったか否かを判断する（損失しきい値以下；ステップＳＴ８）。ステップＳＴ８が否定されると、学習部２５は新たな教師データをストレージ１３から取得し（ステップＳＴ９）、ステップＳＴ１の処理に戻り、新たな教師データを用いてステップＳＴ１～ステップＳＴ８の処理を繰り返す。ステップＳＴ８が肯定されると、学習部２５は学習処理を終了する。これにより、画像生成モデル３０が構築される。
図１６は本実施形態において行われる画像生成処理を示すフローチャートである。なお、対象画像Ｇｉおよび目標情報Ａ０は、入力部１５から入力されたり、画像保管サーバ３から取得されたりして、ストレージ１３に保存されているものとする。画像生成処理の開始の指示により、情報取得部２０がストレージ１３から少なくとも１つの対象画像Ｇｉおよび目標情報Ａ０を取得する（ステップＳＴ１１）。被写体モデル導出部２１は、少なくとも１つの対象画像Ｇｉおよび対象画像Ｇｉの表現形式を表す情報ｔｉを第１ネットワーク３１に入力する。第１ネットワーク３１は、対象画像Ｇｉの特徴量を導出し、特徴量を合成することにより、被写体モデルＭ０を出力する。これにより、被写体モデル導出部２１は、被写体モデルＭ０を導出する（ステップＳＴ１２）。
また、潜在変数導出部２２は、目標情報Ａ０および被写体モデルＭ０を第２ネットワーク３２に入力する。第２ネットワーク３２は、目標情報Ａ０および被写体モデルＭ０が入力されると、被写体モデルＭ０の特徴を目標情報Ａ０に応じて次元圧縮した第１潜在変数ｚ１を出力する。これにより、潜在変数導出部２２は、第１潜在変数ｚ１を導出する（ステップＳＴ１３）。
仮想画像導出部２３は、目標情報Ａ０、被写体モデルＭ０および第１潜在変数ｚ１を第３ネットワーク３３に入力する。第３ネットワーク３３は、目標情報Ａ０により表される表現形式を有する仮想画像Ｖ０を出力する。これにより、仮想画像導出部２３は、仮想画像Ｖ０を導出する（ステップＳＴ１４）。そして、表示制御部２４が仮想画像Ｖ０を表示部１４に表示し（ステップＳＴ１５）、処理を終了する。
このように、本実施形態においては、目標情報Ａ０により表される表現形式を有する仮想画像Ｖ０を導出可能な第１潜在変数ｚ１を第２ネットワーク３２が出力可能であり、かつ目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な被写体モデルＭ０を出力するものとなるように、被写体モデル導出部２１が有する第１ネットワーク３１を学習するようにした。また、第１ネットワーク３１が出力した被写体モデルＭ０が入力されると、目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な第１潜在変数ｚ１を出力するものとなるように、潜在変数導出部２２が有する第２ネットワーク３２を学習するようにした。また、目標情報Ａ０、第１ネットワーク３１が出力した被写体モデルＭ０、および第２ネットワーク３２が出力した第１潜在変数ｚ１が入力されると、目標とされる表現形式を有する仮想画像Ｖ０を出力するものとなるように、仮想画像導出部２３が有する第３ネットワーク３３を学習するようにした。
これにより、目標情報Ａ０により表される表現形式を有する仮想画像Ｖ０を導出可能な第１潜在変数ｚ１を第２ネットワーク３２が出力可能であり、かつ目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な被写体モデルＭ０を出力するものとなるように、被写体モデル導出部２１の第１ネットワーク３１を構築できる。また、第１ネットワーク３１が出力した被写体モデルＭ０が入力されると、目標とされる表現形式を有する仮想画像Ｖ０を第３ネットワーク３３が出力可能な第１潜在変数ｚ１を出力するものとなるように、潜在変数導出部２２の第２ネットワーク３２を構築できる。また、目標情報Ａ０、被写体モデルＭ０および第１潜在変数ｚ１から、目標情報Ａ０により表される表現形式の仮想画像Ｖ０を出力するものとなるように、仮想画像導出部２３の第３ネットワーク３３を構築できる。
したがって、本実施形態による画像生成装置１によれば、少なくとも１つの対象画像Ｇｉおよび目標情報Ａ０から、目標情報Ａ０により表される目標とされる表現形式を有する仮想画像Ｖ０を導出することができる。
ところで、画像の表現形式を他の表現形式に変換すると、元の画像に固有の特徴が損なわれる可能性がある。例えば、対象画像ＧｉがＭＲＩ画像である場合において、表現形式をＣＴ画像に変換すると、ＭＲＩ画像に含まれていた細かな病変等がＣＴ画像において消失してしまう可能性がある。ここで、本実施形態による画像生成装置１に複数の対象画像Ｇｉを入力することにより、仮想画像Ｖ０を導出する元となる画像の情報を増加させることができる。このため、対象画像Ｇｉを複数用いることにより、表現形式を変換することにより情報が損失される可能性を低減することができる。
なお、上記実施形態においては、目標情報Ａ０として、画像の種別、造影剤の有無、造影剤有りの場合の造影フェーズおよび現在を基準とした前後の時間のいずれかを表すものとしているが、これに限定されるものではない。これらのうちの少なくとも１つを表現形式として表す目標情報Ａ０を用いてもよい。また、被写体の性別および被写体の年齢等の表現形式をさらに表す目標情報Ａ０を用いてもよい。この場合、教師データに含まれる教師情報ＫＪとしては、被写体の性別、および被写体の年齢の少なくとも一方をさらに含むものとすればよい。これにより、目標情報Ａ０の情報量を増加させることができるため、より好ましい仮想画像Ｖ０を生成することができる。なお、目標情報Ａ０として、被写体の性別または被写体の年齢のみを表現形式として表すものを用いてもよい。
なお、上記実施形態においては、第１ネットワーク３１を、対象画像Ｇｉおよびその表現形式を表す情報ｔｉの入力により、被写体モデルＭ０を出力するものとしているが、これに限定されるものではない。対象画像Ｇｉの入力のみにより、被写体モデルＭ０を出力するように第１ネットワーク３１を構築してもよい。
また、上記実施形態においては、被写体モデル導出部２１、潜在変数導出部２２および仮想画像導出部２３が、それぞれ学習部２５により学習された第１ネットワーク３１、第２ネットワーク３２および第３ネットワーク３３を有するものとしているが、これに限定されるものではない。例えば、学習により構築されたネットワークではないソフトウェア等により、被写体モデル導出部２１、潜在変数導出部２２および仮想画像導出部２３における処理を実行することも可能である。
また、上記実施形態においては、画像生成装置１が学習部２５を内包するものとしているが、これに限定されるものではない。学習部２５を備えた学習装置を画像生成装置１とは別個に設け、別個に設けられた学習装置により画像生成モデルの学習を行うようにしてもよい。この場合、学習により構築された画像生成モデルは、画像生成装置１にインストールされることとなる。
また、上記実施形態においては、特定の構造物を肝臓としているが、これに限定されるものではない。肝臓の他、肺、心臓、腎臓および脳等の構造物を対象画像とすることができる。なお、学習時には対象画像に含まれる特定の構造物を含む教師画像を使用し、特定の構造物を含む対象画像Ｇｉに特化した第１ネットワーク３１、第２ネットワーク３２および第３ネットワーク３３が構築されることとなる。
また、上記各実施形態において、例えば、情報取得部２０、被写体モデル導出部２１、潜在変数導出部２２、仮想画像導出部２３、表示制御部２４および学習部２５といった各種の処理を実行する処理部（Processing Unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（Processor）を用いることができる。上記各種のプロセッサには、上述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device :PLD）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせまたはＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。
複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントおよびサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアとの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:SoC）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（Circuitry）を用いることができる。
１ 画像生成装置
２ ３次元画像撮影装置
３ 画像保管サーバ
４ 通信ネットワーク
１１ ＣＰＵ
１２ メモリ
１３ ストレージ
１４ 表示部
１５ 入力部
２０ 情報取得部
２１ 被写体モデル導出部
２２ 潜在変数導出部
２３ 仮想画像導出部
２４ 表示制御部
２５ 学習部
３０ 画像生成モデル
３１ 第１ネットワーク
３１Ａ ＣＮＮ
３１Ｂ 合成部
３２ 第２ネットワーク
３３ 第３ネットワーク
３４ 第４ネットワーク
４０～４３ 教師データ
５０ 表示画面
Ａ０ 目標情報
Ｇｉ，Ｇ１，Ｇ２ 対象画像
Ｋ１～Ｋ３、Ｋ１１，Ｋ１２，Ｋ２１～Ｋ２３，Ｋ３１～Ｋ３３ 教師画像
ＫＪ 教師情報
ＫＭ 教師被写体モデル
Ｋｔ１，Ｋｔ２ 教師画像の表現形式を表す情報
ＫＶ０ 教師仮想画像
Ｋｚ１ 第１教師潜在変数
Ｋｚ２ 第２教師潜在変数
Ｌ１ 第１損失
Ｌ２ 第２損失
ｔｉ，ｔ１，ｔ２ 対象画像の表現形式を表す情報
ｚ１ 第１潜在変数
ｚ２ 第２潜在変数

Claims (15)

  1. 特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および該対象画像の目標とされる表現形式を表す目標情報が入力されると、前記対象画像から前記目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習装置であって、
    前記画像生成モデルは、
    前記少なくとも１つの表現形式を有する対象画像の入力により、該対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを出力する第１ネットワークと、
    前記目標情報および前記被写体モデルが入力されると、前記被写体モデルの特徴を前記目標情報に応じて次元圧縮した潜在変数を出力する第２ネットワークと、
    前記目標情報、前記被写体モデルおよび前記潜在変数が入力されると、前記仮想画像を出力する第３ネットワークとを有し、
    前記特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および該複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データに基づいて、前記第１ネットワーク、前記第２ネットワークおよび第３ネットワークを学習する学習部を備えた画像生成モデルの学習装置。
  2. 前記第１ネットワークは、前記対象画像に加えて、前記対象画像の表現形式を表す情報の入力により、前記対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを出力する請求項１に記載の学習装置。
  3. 画像が入力されると該画像の特徴を次元圧縮した潜在変数を出力する第４ネットワークをさらに備え、
    前記学習部は、
    前記教師データに含まれる複数の教師画像のうち、前記特定の表現形式以外の他の表現形式を有する他の教師画像を前記第１ネットワークに入力して、教師被写体モデルを出力させ、
    前記特定の教師情報および前記教師被写体モデルを前記第２ネットワークに入力して、前記教師被写体モデルの特徴を前記特定の教師情報に応じて次元圧縮した第１教師潜在変数を出力させ、
    前記特定の表現形式を有する特定の教師画像を前記第４ネットワークに入力して、該特定の教師画像の特徴を次元圧縮した第２教師潜在変数を出力させ、
    前記第１教師潜在変数と前記第２教師潜在変数との相違を第１損失として用いて、前記第１ネットワークおよび前記第２ネットワークを学習する請求項１または２に記載の学習装置。
  4. 前記学習部は、前記特定の教師情報、前記教師被写体モデルおよび前記第１教師潜在変数を前記第３ネットワークに入力して、前記特定の表現形式を有する教師仮想画像を出力させ、
    前記教師仮想画像と前記特定の教師画像との相違を第２損失として用いて、前記第１ネットワーク、前記第２ネットワークおよび前記第３ネットワークを学習する請求項３に記載の学習装置。
  5. 前記目標情報は、画像の種別、造影剤の有無、造影剤有りの場合の造影フェーズ、現在を基準とした前後の時間、前記被写体の性別、および前記被写体の年齢の少なくとも１つを前記表現形式として表す請求項１から４のいずれか１項に記載の学習装置。
  6. 前記対象画像は３次元の医用画像であり、前記表現形式は、ＣＴ画像、ＭＲＩ画像およびＰＥＴ画像のうちの少なくとも１つの画像の種別を含む請求項１から５のいずれか１項に記載の学習装置。
  7. 前記画像の種別は、ＭＲＩ画像における、Ｔ１強調画像、Ｔ２強調画像、拡散強調画像、脂肪抑制画像、ＦＬＡＩＲ画像、造影前Ｔ１強調画像、造影後Ｔ１強調画像、Ｔ１強調画像(in phase)、Ｔ１強調画像(out phase)およびＴ２脂肪抑制画像の少なくとも１つを含む請求項６に記載の学習装置。
  8. 特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および該対象画像の目標とされる表現形式を表す目標情報が入力されると、前記対象画像から前記目標とされる表現形式を有する仮想画像を導出する画像生成装置であって、
    前記少なくとも１つの表現形式を有する対象画像に基づいて、該対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを導出する被写体モデル導出部と、
    前記目標情報および前記被写体モデルに基づいて、前記被写体モデルの特徴を前記目標情報に応じて次元圧縮した潜在変数を導出する潜在変数導出部と、
    前記目標情報、前記被写体モデルおよび前記潜在変数に基づいて、前記仮想画像を導出する仮想画像導出部とを備えた画像生成装置。
  9. 前記被写体モデル導出部は、前記対象画像に加えて、前記対象画像の表現形式を表す情報にも基づいて、前記対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを導出する請求項８に記載の画像生成装置。
  10. 前記被写体モデル導出部、前記潜在変数導出部および前記仮想画像導出部は、それぞれ請求項１から６のいずれか１項に記載の画像生成モデルの学習装置により学習された第１ネットワーク、第２ネットワークおよび第３ネットワークを有する請求項８または９に記載の画像生成装置。
  11. 請求項１から７のいずれか１項記載の学習装置により学習された画像生成モデル。
  12. 特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および該対象画像の目標とされる表現形式を表す目標情報が入力されると、前記対象画像から前記目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習方法であって、
    前記画像生成モデルは、
    前記少なくとも１つの表現形式を有する対象画像の入力により、該対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを出力する第１ネットワークと、
    前記目標情報および前記被写体モデルが入力されると、前記被写体モデルの特徴を前記目標情報に応じて次元圧縮した潜在変数を出力する第２ネットワークと、
    前記目標情報、前記被写体モデルおよび前記潜在変数が入力されると、前記仮想画像を出力する第３ネットワークとを有し、
    前記特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および該複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データに基づいて、前記第１ネットワーク、前記第２ネットワークおよび第３ネットワークを学習する画像生成モデルの学習方法。
  13. 特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および該対象画像の目標とされる表現形式を表す目標情報が入力されると、前記対象画像から前記目標とされる表現形式を有する仮想画像を導出する画像生成方法であって、
    前記少なくとも１つの表現形式を有する対象画像に基づいて、該対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを導出し、
    前記目標情報および前記被写体モデルに基づいて、前記被写体モデルの特徴を前記目標情報に応じて次元圧縮した潜在変数を導出し、
    前記目標情報、前記被写体モデルおよび前記潜在変数に基づいて、前記仮想画像を導出する画像生成方法。
  14. 特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および該対象画像の目標とされる表現形式を表す目標情報が入力されると、前記対象画像から前記目標とされる表現形式を有する仮想画像を導出する画像生成モデルの学習方法をコンピュータに実行させる学習プログラムであって、
    前記画像生成モデルは、
    前記少なくとも１つの表現形式を有する対象画像の入力により、該対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを出力する第１ネットワークと、
    前記目標情報および前記被写体モデルが入力されると、前記被写体モデルの特徴を前記目標情報に応じて次元圧縮した潜在変数を出力する第２ネットワークと、
    前記目標情報、前記被写体モデルおよび前記潜在変数が入力されると、前記仮想画像を出力する第３ネットワークとを有し、
    前記特定の構造物を含む被写体についての、互いに異なる表現形式を有する複数の教師画像、および該複数の教師画像のそれぞれの表現形式のうちの、特定の表現形式を表す特定の教師情報を含む複数の教師データに基づいて、前記第１ネットワーク、前記第２ネットワークおよび第３ネットワークを学習する手順をコンピュータに実行させる学習プログラム。
  15. 特定の構造物を含む被写体についての、少なくとも１つの表現形式を有する少なくとも１つの対象画像および該対象画像の目標とされる表現形式を表す目標情報が入力されると、前記対象画像から前記目標とされる表現形式を有する仮想画像を導出する画像生成方法をコンピュータに実行させる画像生成プログラムであって、
    前記少なくとも１つの表現形式を有する対象画像に基づいて、該対象画像のそれぞれの特徴量を導出し、該特徴量を合成することにより、前記被写体を表す被写体モデルを導出する手順と、
    前記目標情報および前記被写体モデルに基づいて、前記被写体モデルの特徴を前記目標情報に応じて次元圧縮した潜在変数を導出する手順と、
    前記目標情報、前記被写体モデルおよび前記潜在変数に基づいて、前記仮想画像を導出する手順とをコンピュータに実行させる画像生成プログラム。
JP2021551419A 2019-09-30 2020-09-30 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル Active JP7170897B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019179044 2019-09-30
JP2019179044 2019-09-30
PCT/JP2020/037299 WO2021066068A1 (ja) 2019-09-30 2020-09-30 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル

Publications (3)

Publication Number Publication Date
JPWO2021066068A1 JPWO2021066068A1 (ja) 2021-04-08
JPWO2021066068A5 JPWO2021066068A5 (ja) 2022-05-26
JP7170897B2 true JP7170897B2 (ja) 2022-11-14

Family

ID=75337040

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021551419A Active JP7170897B2 (ja) 2019-09-30 2020-09-30 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル

Country Status (3)

Country Link
US (1) US12254553B2 (ja)
JP (1) JP7170897B2 (ja)
WO (1) WO2021066068A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024154581A1 (ja) * 2023-01-20 2024-07-25 キヤノン株式会社 画像生成装置、画像生成方法、学習方法、並びに、プログラム
WO2024203203A1 (ja) * 2023-03-27 2024-10-03 キヤノン株式会社 画像生成装置、及び画像生成方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7587575B2 (ja) * 2019-10-08 2024-11-20 バイエル、アクチエンゲゼルシャフト コントラスト強調のない肝臓のｍｒｉ画像の生成
CN115398555A (zh) 2020-04-03 2022-11-25 拜耳公司 生成放射线图像
JP2024512369A (ja) * 2021-03-09 2024-03-19 バイエル・アクチエンゲゼルシヤフト 造影放射線学の分野における機械学習
JP7368922B2 (ja) * 2021-05-24 2023-10-25 アナウト株式会社 情報処理装置、情報処理方法、及びコンピュータプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018505705A (ja) 2014-12-10 2018-03-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 機械学習を用いた医用イメージングの変換のためのシステムおよび方法
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10102451B2 (en) 2015-10-13 2018-10-16 Elekta, Inc. Pseudo-CT generation from MR data using tissue parameter estimation
EP3433816A1 (en) * 2016-03-22 2019-01-30 URU, Inc. Apparatus, systems, and methods for integrating digital media content into other digital media content
CN116075830B (zh) * 2020-06-29 2026-03-03 巴黎欧莱雅 图像到图像转换中语义关系保留的知识提炼
US20230132630A1 (en) * 2021-11-01 2023-05-04 Samsung Electronics Co., Ltd. Apparatus and method with neural network training based on knowledge distillation

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018505705A (ja) 2014-12-10 2018-03-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 機械学習を用いた医用イメージングの変換のためのシステムおよび方法
JP2018192264A (ja) 2017-05-18 2018-12-06 キヤノンメディカルシステムズ株式会社 医用画像処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
大竹 義人，シリーズ新潮流－Ｔｈｅ Ｎｅｘｔ Ｓｔｅｐ ｏｆ Ｉｍａｇｉｎｇ Ｔｅｃｈｎｏｌｏｇｙ〈Ｖｏｌ．９〉 人工知能で医療は変わるのか 加速する医療分野のＡＩ開発の現在と未来 「５．敵対的生成ネットワーク（GAN）による異種モダリティ画像生成」，ＩＮＮＥＲＶＩＳＩＯＮ，日本，（株）インナービジョン，2018年06月25日，Vol.33,No.7，pp.36-39

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024154581A1 (ja) * 2023-01-20 2024-07-25 キヤノン株式会社 画像生成装置、画像生成方法、学習方法、並びに、プログラム
WO2024203203A1 (ja) * 2023-03-27 2024-10-03 キヤノン株式会社 画像生成装置、及び画像生成方法

Also Published As

Publication number Publication date
US12254553B2 (en) 2025-03-18
WO2021066068A1 (ja) 2021-04-08
US20220198734A1 (en) 2022-06-23
JPWO2021066068A1 (ja) 2021-04-08

Similar Documents

Publication Publication Date Title
JP7170897B2 (ja) 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、並びに画像生成モデル
US12223649B2 (en) Systems and methods for medical acquisition processing and machine learning for anatomical assessment
Shen et al. NeRP: implicit neural representation learning with prior embedding for sparsely sampled image reconstruction
KR102824526B1 (ko) 3 차원 이미지들로부터의 이미지 슬라이스들을 프로세싱하기 위한 시스템들 및 방법들
US10803354B2 (en) Cross-modality image synthesis
JP7840661B2 (ja) 医用画像処理装置、医用画像処理方法、および医用画像処理プログラム
JP7203978B2 (ja) 学習装置、方法およびプログラム、関心領域抽出装置、方法およびプログラム、並びに学習済み抽出モデル
JP7662654B2 (ja) 学習装置、方法およびプログラム、画像生成装置、方法およびプログラム、学習済みモデル、仮想画像並びに記録媒体
Milletari et al. Cloud deployment of high-resolution medical image analysis with TOMAAT
US20240005498A1 (en) Method of generating trained model, machine learning system, program, and medical image processing apparatus
WO2021257906A1 (en) Maskless 2d/3d artificial subtraction angiography
JP7334256B2 (ja) 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
KR102556646B1 (ko) 의료 영상 생성 방법 및 장치
JP7462925B2 (ja) 血流場推定装置、学習装置、血流場推定方法及びプログラム
CN118396922B (zh) 医学图像生成方法、装置、计算机设备和存储介质
JP2025149187A (ja) 画像処理装置、方法およびプログラム並びに学習装置、方法およびプログラム
JP2026021267A (ja) 医用画像化モダリティのセットに基づくイメージング
Ferreira Computational Left-Ventricle Reconstruction from MRI Data for Patient-specific Cardiac Simulations
WO2020075571A1 (ja) 流体解析装置、方法およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220308

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221101

R150 Certificate of patent or registration of utility model

Ref document number: 7170897

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250