JP6945474B2 - 学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラム - Google Patents

Description

本発明は、判別器用の学習用データの作成を支援する学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラムに関する。

データの特徴を学習して画像などの認識および分類を行うために機械学習が従来から利用されてきた。近年、様々な学習手法が開発され、かつ、コンピュータの処理能力が向上したことにより処理時間が短縮され、システムが画像データなどの特徴をより深いレベルで学習するディープラーニング（深層学習）を行うことが可能になってきた。ディープラーニングを行うことにより、非常に高い精度で画像などの特徴を認識できるようになり判別性能の向上が期待されている。

医療分野においても、ディープラーニングを利用して学習することで高い精度で画像の特徴を認識する人工知能（ＡＩ）が望まれている。ディープラーニングには、目的に沿った大量かつ良質のデータによる学習が不可欠である。そのためには、効率的に学習用データを用意することが重要である。各医療機関には、ＰＡＣＳ（Picture Archiving and Communication System）の普及に伴い多くの症例の画像データが蓄積されている。そこで、各医療機関に蓄積された様々な症例の画像データを利用して学習させることが検討されている。

また、医療分野では、画像上に現れた腫瘍などの陰影を異常症例であるか正常症例であるかに予め分類しておき、この陰影画像を学習用データとして学習することにより画像上に現れた陰影が正常であるか異常であるかを判別している。例えば、特許文献１では、表示された医用画像上で登録すべき領域を指定して、異常症例および正常症例であるかに分類して学習用データを生成している。

特開２００５−１８５５６０号公報

しかしながら、このように医用画像上で学習用データとして登録するべき領域を手動で指定する操作は手間がかかり、大量に学習用データを生成することは難しい。

一方、患者を撮影した画像は、読影医によって読影が行われ読影レポートが作成される。読影レポートを作成する際には、読影対象の画像とシェーマ図を表示して、読影対象の画像を観察しながらマウスなどのデバイスを操作してシェーマ図上の異常陰影が存在する位置にマークを付けていく。あるいは、画像解析処理を用いて自動的に異常陰影が表れている領域を検出してシェーマ図上に表示させるようにしている。このように、読影医は、医用画像に現れている病変の領域を特定する操作を行なったり、画像解析処理で抽出された病変候補の領域が正解であるか不正解であるかなどの判断を行なったりしながら、読影レポートを作成している。

そこで、本発明では、上述のような問題を解決するために、学習に必要な学習用データを読影レポートを作成する操作を利用して自動で作成する学習用データ作成支援装置、学習用データ作成支援方法、および学習用データ作成支援プログラムを提供することを目的とする。

本発明の学習用データ作成支援装置は、医用画像に画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示手段と、指定された候補位置を否定する操作を受け付けて、否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する登録手段と、を備える。

本発明の学習用データ作成支援方法は、学習用データ作成支援装置が、医用画像に画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示ステップと、指定された候補位置を否定する操作を受け付けて、否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する登録ステップと、を実行する。

本発明の学習用データ作成支援プログラムは、コンピュータに、医用画像に画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示ステップと、指定された候補位置を否定する操作を受け付けて、否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する登録ステップと、を実行させる。

「病変候補領域」とは、医用画像上の病変である可能性が有る領域をいい、コンピュータの画像解析処理によって抽出された病変の可能性が高い領域を指す。また、「病変候補領域画像」は、医用画像全体のうち病変候補領域を含んだ画像部分をいう。

「人体の模式図」とは、人体の外形、臓器、または組織の特徴を際立たせて描いた図をいう。

「正解データ」とは、病変候補領域画像に対して正解ラベルを付したデータをいい、病変候補領域画像が病変を撮影した画像であると判定された場合を正解データとする。

また、登録手段が、否定する操作が受け付けられた場合の否定候補位置に対応する病変候補領域画像、および、肯定する操作が受け付けられた場合の肯定候補位置の病変候補領域画像以外の病変候補領域画像を不正解データとして登録するようにしてもよい。

「不正解データ」とは、病変候補領域画像に対して不正解ラベルを付したデータをいい、病変候補領域画像が病変を撮影した画像ではなないと判定された場合を不正解データとする。

また、人体の模式図上の複数の候補位置の各々に標識が設けられており、否定する操作が、候補位置に表示されている標識を削除する操作であるのが望ましい。

また、人体の模式図上の複数の候補位置の各々に標識が設けられようにして、否定する操作が受け付けられた場合の否候補位置以外の候補位置に標識を付した模式図を読影レポートに含めて記録するか、または、肯定する操作が受け付けられた場合の肯定候補位置に標識を付した模式図を読影レポートに含めて記録するレポート記録手段をさらに備えるようにしてもよい。

また、画像解析処理が、正解データを用いて学習させた判別器を用いて病変候補領域画像を検出する処理である場合には、登録された正解データを用いて判別器の再学習を行う学習手段をさらに備えるのが望ましい。

また、画像解析処理が、正解データを用いて学習させた判別器および不正解データを用いて学習させた判別器の少なくとも一方を用いて病変候補領域画像を検出する処理である場合には、登録された正解データおよび不正解データの少なくとも一方を用いて判別器の再学習を行う学習手段をさらに備えるのが望ましい。

また、模式図が、シェーマ図であってもよい。

本発明の他の学習用データ作成支援装置は、コンピュータに実行させるための命令を記憶するメモリと、記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、医用画像に画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示し、指定された候補位置を否定する操作を受け付けて、否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する処理を実行する。

本発明によれば、医用画像に画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示して、指定された候補位置を否定する操作を受け付けて、否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、肯定候補位置に対応する病変候補領域画像を正解データとして登録することにより、読影レポートを作成する際に模式図上の候補位置が正しいか否かを判定する作業の中で、作業者が学習用データを作成するための特別の操作を行うことなく学習に必要な学習用データを作成することが可能になる。

医療情報システムの概略構成を示す図 本発明の学習用データ作成支援装置の概略構成を表す図 シェーマ図上にマークを表示した例 シェーマ図を利用した読影レポート作成時の操作を説明するための図 第１の実施の形態の学習用データを登録する処理の流れを示すフローチャート 判別器を学習させる処理の流れを示すフローチャート 第２の実施の形態の学習用データを登録する処理の流れを示すフローチャート

以下、図を用いて本発明の第１の実施の形態について説明する。図１に、本発明の第１の実施の形態における学習用データ生成援装置を設けた医療情報システム１の概略構成を示す。

医療情報システム１は、診療科の医師からの検査オーダーに基づいて、被検体の検査対象部位の撮影および保管、並びに放射線科の読影医による撮影された画像の読影と読影レポートの作成とを行うためのシステムである。医療情報システム１は、図１に示すように、モダリティ２、読影医用ワークステーション３、診療科用ワークステーション４、画像データベース５、および、読影レポートデータベース６が、ネットワーク７を介して互いに通信可能な状態で接続されて構成されている。各機器は、医療情報システム１の構成要素として機能させるためのアプリケーションプログラムがインストールされている。また、アプリケーションプログラムは、ＤＶＤ（digital versatile disc）またはＣＤ−ＲＯＭ（Compact Disc Read only memory）などの記録媒体からインストール、または、インターネットなどのネットワーク経由で接続されたサーバの記憶装置からダウンロードされた後にインストールされてもよい。

モダリティ２には、被写体の検査対象部位を撮影することにより、その部位を表す検査画像を生成し、その画像にＤＩＣＯＭ（Digital Imaging and COmmunicationin Medicine）規格で規定された付帯情報を付加して出力する装置が含まれる。モダリティの具体例としては、マンモグラフィー撮影装置、ＣＴ装置（Computed Tomography：コンピュータ断層撮影装置）、ＭＲＩ装置（Magnetic Resonance Imaging：磁気共鳴画像撮影装置）、ＰＥＴ装置（Positron Emission Tomography：陽電子放射断層撮影装置）、超音波装置、または、平面Ｘ線検出器（ＦＰＤ：flat panel detector）を用いたＣＲ装置（Computed Radiography：コンピュータＸ線撮影装置）などが挙げられる。

読影医用ワークステーション３（以下、読影医用ワークステーションを読影医用ＷＳ３という）は、放射線科の読影医が画像の読影や読影レポートの作成に利用するコンピュータであり、図２に示すように、ＣＰＵ（Central Processing Unit）１０、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、表示装置３０、入力装置３１、および、データバスなどの周知のハードウェア構成を備え、周知のオペレーションシステムなどがインストールされ、表示装置３０として１台または複数台の高精細ディスプレイを有している。この読影医用ＷＳ３では、画像データベース５から受信した画像の表示、画像中の病変らしき部分の自動検出および強調表示などの画像処理、および、読影レポートの作成と表示などの各処理が、各処理のためのソフトウェアプログラムを実行することにより行われる。また、読影医用ＷＳ３では、キーボード、およびマウスなど入力装置３１を用いて、読影対象の読影レポートの入力を行い、読影レポートの入力が完了すると、ネットワーク７を介して読影レポートデータベース６へ読影レポートの登録を要求する。

診療科用ワークステーション４（以下、診療科用ワークステーションを診療科用ＷＳ４という）は、診療科の医師が画像の詳細観察や読影レポートの閲覧、および、電子カルテの閲覧および入力などに利用するコンピュータであり、ＣＰＵ、主記憶装置、補助記憶装置、入出力インターフェース、通信インターフェース、入力装置、表示装置、および、データバスなどの周知のハードウェア構成を備え、周知のオペレーションシステムなどがインストールされ、表示装置として１台または複数台の高精細ディスプレイを有している。この診療科用ＷＳ４では、画像データベース５から受信した画像の表示、画像中の病変らしき部分の自動検出または強調表示、読影レポートデータベース６から受信した読影レポートの表示などの各処理が、各処理のためのソフトウェアプログラムの実行により行われる。

画像データベース５は、汎用のコンピュータにデータベース管理システム（Data Base Management System：DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、大容量ストレージを備えている。このストレージは、大容量のハードディスク装置であってもよいし、ネットワーク７に接続されているＮＡＳ（Network Attached Storage）またはＳＡＮ（Storage Area Network）に接続されたディスク装置であってもよい。また、モダリティ２で撮影された画像データは、ＤＩＣＯＭ規格に準拠した格納フォーマットおよび通信規格に従って、ネットワーク７を介して画像データベース５に送信された後に画像データベース５に格納される。画像データベース５には、複数の患者をモダリティ２で撮影した検査画像と付帯情報が登録される。付帯情報には、例えば、個々の画像を識別するための画像ＩＤ（identification）、被写体を識別するための患者ＩＤ、その検査画像が生成された検査日、検査時刻、その検査画像を取得するための検査で使用されたモダリティの種類、患者氏名と年齢と性別などの患者情報、および検査部位（撮影部位）が記録される。

読影レポートデータベース６は、汎用のコンピュータにデータベース管理システム（DBMS）の機能を提供するソフトウェアプログラムが組み込まれ、大容量ストレージを備えている。このストレージは、大容量のハードディスク装置であってもよいし、ネットワーク７に接続されているＮＡＳやＳＡＮに接続されたディスク装置であってもよい。読影レポートデータベース６には、例えば、読影対象画像を識別する画像ＩＤや、読影を行った画像診断医を識別するための読影医ＩＤ、病変名、病変領域、病変の位置情報、および所見といった情報が記録された読影レポートが登録される。

ネットワーク７は、病院内の各種装置を接続するローカルエリアネットワークである。読影医用ＷＳ３が他の病院あるいは診療所に設置されている場合には、ネットワーク７は、各病院のローカルエリアネットワーク同士をインターネットまたは専用回線で接続した構成としてもよい。いずれの場合にも、ネットワーク７は光ネットワークなど検査画像の高速転送が実現可能な構成にすることが好ましい。

なお、読影医用ＷＳ３に学習用データ作成支援プログラムをインストールすることにより、読影医用ＷＳ３は本発明の学習用データ作成支援装置として機能する。学習用データ作成支援プログラムは、ネットワークに接続されたコンピュータの記憶装置もしくはネットワークストレージに外部からアクセス可能な状態で記憶され、読影医用ＷＳ３にダウンロードされた後に、インストールされるようにしてもよい。または、学習用データ作成支援プログラムは、ＤＶＤまたはＣＤ−ＲＯＭなどの記録媒体に記録されて配布され、その記録媒体からコンピュータにインストールされるようにしてもよい。

この読影医用ＷＳ３の実行時に、主記憶装置（不図示）に学習用データ作成支援プログラムが記憶され、ＣＰＵ１０が主記憶装置に記憶されたプログラムに従いこれらの処理を実行することで、読影医用ＷＳ３が、学習用データ作成支援装置として機能する。以下、読影医用ＷＳ３を、学習用データ作成支援装置３として説明する。

まず、学習用データ作成支援装置３の機能について説明する。図２に示すように、学習用データ作成支援装置３は、取得手段１１、画像解析手段（以下、画像解析処理という）１２、表示手段１３、操作受付手段１４、登録手段１５、学習用データ記憶部１６、レポート記録手段１７、追加手段１８、および学習手段１９として機能する。

取得手段１１は、診療科の医師が発行した検査オーダーに従って撮影された画像のうち、読影対象の医用画像Ｐを画像データベース５から取得する。

画像解析処理１２には、判別器２０が設けられ、判別器２０を用いて、取得手段１１で取得した医用画像Ｐに現れた陰影を判別して、腫瘍および石灰化などの病変候補領域の検出と病変候補領域の位置に関する情報を候補位置として取得する。候補位置は、医用画像Ｐ中の座標値で取得してもよいが、解剖学的な位置がわかる情報であればよく、各臓器中の上部、中部、または下部を示す情報であってもよい。例えば、乳房であれば、左右の各々に対して内側上部、内側下部、外側上部、外側下部、および乳輪部などを示す情報である。また、腹部であれば、右上腹部、左上腹部、みぞおち、へそ部、右側腹部、左側腹部、右下腹部、左下腹部、下腹部などを示す情報である。

表示手段１３は、読影対象の医用画像Ｐに画像解析処理を施して得られた複数の病変候補領域の各々の候補位置を示す標識を人体の模式図上に付して、複数の候補位置各々を表示装置３０に表示する。人体の模式図は、人体全体の形状を表した図、人体の一部の部位（例えば、腹部、胸部、または頭部など）の特徴を表した図、臓器（例えば、胃、腸、肝臓、腎臓、肺、乳房など）の輪郭または特徴を表した図、または組織（骨、血管、リンパなど）の形状を表した図などであり、医師がカルテまたは読影レポートを作成するときに利用することができる身体部位の図である。具体的には、模式図は、例えばシェーマ図である。以下、模式図としてシェーマ図を用いる場合について説明する。

なお、シェーマ図上の位置と人体の解剖学的な位置（例えば、医用画像Ｐ中の座標値、あるいは、各臓器中の上部、中部、または下部など）とは予め対応付けておく。表示手段１３は、画像解析処理１２によって得られた複数の病変候補領域と各病変候補領域の解剖学的な位置（以下、候補位置という）に従って、各候補位置に標識（以下、マークという）を付してシェーマ図上に位置を表示する。また、検出された病変候補領域が表れている医用画像Ｐ中の画像部分（以下、病変候補領域画像という）に現れている病変の種類に応じてマークの種類、例えば、形状、大きさ、または色などを変えるようにするのが望ましい。

図３および図４に、乳房のシェーマ図の一例を示す。乳房の場合、左右の乳房の各々をＭＬＯ（mediolateral oblique：内外斜位方向）撮影した場合の乳房の外形を表す図形をシェーマ図４１，４２とし、左右の乳房の各々をＣＣ（craniocaudal：頭尾方向）撮影した場合の乳房の外形を表す図形をシェーマ図４３，４４とした４つのシェーマ図で構成される。画像解析処理１２で検出された候補位置には、シェーマ図４１，４２，４３，および４４上にマークが表示される。図３は、乳房のシェーマ図４１，４２，４３，および４４上の候補位置に丸と矩形のマークを付した例である。丸のマークは腫瘍の候補位置を表し、矩形のマークは石灰化の候補位置を示す。また、図４に示すように、医用画像Ｐの病変候補領域画像の縮小画像Ｒ２〜Ｒ１０を候補位置のマークとして用いてもよい。

操作受付手段１４は、読影医などのユーザが入力装置３１を用いて行った操作に応じた入力を受け付け、受け付けた操作の種類を判定する。操作には、病変候補がある候補位置を否定する操作、病変候補がある候補位置を肯定する操作、および、候補位置を追加する操作などがある。候補位置を否定する操作は、ユーザがシェーマ図上のマークがある位置に対応する医用画像Ｐの病変候補領域は病変ではないと判断した時に行われ、候補位置に対応するマークは削除され、また、不正解データとして登録される。一方、候補位置を肯定する操作は、ユーザがシェーマ図上のマークがある位置に対応する医用画像Ｐの病変候補領域は病変であると判断した時に行われ、候補位置に対応する画像は正解データとして登録される。また、候補位置を追加する操作は、医用画像Ｐに病変が現れている場所に対応するシェーマ図上の位置にマークが付されていない時に行われる。

具体的には、操作受付手段１４は、例えば、シェーマ図上のマークを指定して削除する操作を、候補位置を否定する操作であると判定する。一方、マークの選択だけが行われると、候補位置を肯定する操作であると判定する。あるいは、シェーマ図上のマークを削除する操作が行われなかった候補位置を肯定されたと判定する場合には、候補位置を肯定する操作は規定しなくてもよい。また、シェーマ図上のマークがない場所を指示する（例えば、シェーマ図上の病変の位置をクリックする）操作を、候補位置を追加する操作として判定してもよい。

あるいは、シェーマ図上のマークを指定して、マウスの右クリック操作を行うと候補位置を肯定する操作とし、マウスの左クリック操作を行うと候補位置を否定する操作としてもよい。以下、否定する操作が行われた候補位置を否定候補位置といい、肯定する操作が行われた候補位置を肯定候補位置という。また、明確に、肯定される操作も否定される操作も行われなかった候補位置が残されたまま、シェーマ図に対する操作が終了したときは、その候補位置は肯定された位置と判定するのが望ましい。

追加手段１８は、操作受付手段１４で受け付けた候補位置を追加する操作に従って、候補位置の追加と、その候補位置に対応する病変候補領域画像を追加する。例えば、候補位置を追加する操作を行なった位置の解剖学的な位置情報を候補位置として追加し、さらに、シェーマ図上の候補位置にマークを追加する。また、ユーザがマウスなどを用いて医用画像Ｐ上の病変らしい陰影をカーソルで囲む操作を行った画像部分を病変候補領域画像として追加する。

図４は、ユーザが医用画像Ｐを観察しながらレポートを作成しているときの画面の一例である。画面の左側の枠４５には、病変候補領域画像の縮小画像であるサムネイル画像の一覧を表示している。図３の左乳房（ＭＬＯ）のシェーマ図４１には丸のマークが表示されているが、医用画像Ｐのその位置に病変が認められないときには、図４に示すように丸のマークは削除される。図４の右乳房（ＭＬＯ）のシェーマ図４２、左乳房（ＣＣ）のシェーマ図４３、および右乳房（ＣＣ）のシェーマ図４４の丸および矩形のマークの候補位置Ｒ２，Ｒ８，Ｒ９，およびＲ１０には、その位置に対応する病変候補領域画像の縮小画像が表示されている。さらに、シェーマ図４１，４３，および４４には候補位置が追加されており、追加した候補位置Ｒ３，Ｒ４，Ｒ５，Ｒ６，およびＲ７に病変候補領域画像の縮小画像を表示している。

さらに、操作受付手段１４は、陰影の特徴および診断名などの所見の入力に関する操作、およびレポートを記録するための操作などの入力を受け付ける。図４の例では、右上にある「ｓａｖｅ」のボタンを選択すると作成されたレポートが記録される。

登録手段１５は、操作受付手段１４で受け付けた操作に応じて正解データと不正解データを登録する。具体的には、指定された候補位置を否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する。また、否定候補位置に対応する病変候補領域画像、または、肯定候補位置の病変候補領域画像以外の病変候補領域画像を不正解データとして登録する。

例えば、候補位置を削除する操作、つまり候補位置を否定する操作のみ行い、候補位置を肯定する操作を行わないで操作が終了した場合には、シェーマ図上のマークが削除されなかった候補位置の病変候補領域画像を正解データとして登録し、シェーマ図上のマークが削除された候補位置に対応する病変候補領域画像を不正解データとして登録する。

あるいは、シェーマ図上のマークを指定して、マウスの右クリック操作を行うと候補位置を肯定する操作とし、マウスの左クリック操作を行うと候補位置を否定する操作とする場合のように、肯定する操作と否定する操作の両方を行うときには、肯定する操作が受け付けられた候補位置に対応する病変候補領域画像を正解データとして登録し、否定する操作が受け付けられた候補位置に対応する病変候補領域画像を不正解データとして登録するようにしてもよい。

さらに、登録手段１５は、追加手段１８によって追加された病変候補領域画像も正解データとして登録する。

なお、判別器の学習に不正解データを用いない場合には、登録手段１５では、不正解データの病変候補領域画像は登録しないようにしてもよい。

学習用データ記憶部１６は、ハードディスクまたはＳＳＤなどの補助記憶装置上に設けられる。あるいは、ネットワークに接続されたＮＡＳに設けられてもよい。

また、学習用データ記憶部１６には、病変候補領域画像に対して正解データまたは不正解データのラベルが付されて学習用データとして記憶される。また、追加された病変領域画像は正解データのラベルを付して学習用データとして記憶される。

レポート記録手段１７は、操作受付手段１４でレポートを記録するための操作を受け付けると、否定候補位置以外の候補位置にマークを付したシェーマ図を読影レポートに含めて記録するか、または、肯定候補位置にマークを付したシェーマ図を読影レポートに含めて記録する。つまり、シェーマ図上のマークのうち肯定候補位置にあるマークと、追加されたマークとを付したシェーマ図を読影レポートに含めて記録する。例えば、シェーマ図上のマークを削除する操作が行われたマーク以外のマークは残し、追加したマークを付したシェーマ図をレポートに含めて記録する。記録された読影レポートは読影レポートデータベース６に送信されて保管される。

学習手段１９は、学習用データ記憶部１６に記憶された正解データと不正解データとを判別器２０に再学習させる。画像解析処理１２は、正解データと不正解データとを用いて予め学習させた判別器を用いて病変候補領域を検出するが、検出された病変候補領域が病変であるか否かを読影医などが判断した正解データと不正解データとを再学習させることにより、より判別性能を向上させることができる。そこで、ある程度学習用データが蓄積されたときに正解データと不正解データとを判別器２０に学習させて、画像解析処理１２を更新するようにするのが望ましい。なお、学習を行う際には、正解データのみまたは不正解データのみを用いて学習を行ってもよい。

図５は、読影医用ＷＳ３の処理の流れを示すフローチャートである。図５のフローチャートに従って、乳房画像を観察して読影レポートを作成する場合を例に、ユーザが行った操作を利用して学習用データを作成する手法について説明する。また、本実施の形態では、表示装置３０として２つのディスプレイが設けられる場合について説明する。

まず、ユーザがキーボードなどの入力装置３１を用いて読影対象の患者ＩＤを入力すると、取得手段１１で患者ＩＤに対応する医用画像Ｐを画像データベース５から取得する（ステップＳＴ１）。続いて、一方のディスプレイに医用画像Ｐに撮影された部位に対応したレポート作成用画面を表示し、他方のディスプレイには医用画像Ｐを表示する。例えば、医用画像Ｐに撮影された部位が乳房である場合には、レポート作成用画面に図３のシェーマ図を表示する。さらに、取得された医用画像Ｐに対して画像解析処理１２を施して医用画像Ｐから病変候補領域を検出し（ステップＳＴ２）、図３に示すように、表示手段１３でシェーマ図４１，４２，４３，および４４上に画像解析処理１２によって検出された病変候補領域の候補位置に丸および矩形のマークを表示する（ステップＳＴ３）。

ユーザはディスプレイに表示された医用画像Ｐを観察しながら、マウスなどの入力装置３１を用いて、シェーマ図４１，４２，４３，および４４上の候補位置の削除または追加などの操作を行なう。例えば、医用画像Ｐには、図３のシェーマ図４１の左乳房の上部の丸のマークの候補位置に対応する場所に病変が認められないとユーザが判断したときには、ユーザは丸のマークを選択して削除する操作を行う。操作受付手段１４で操作入力が受け付けられ（ステップＳＴ４）、操作入力が候補位置の削除である場合にはステップＳＴ５が肯定される。また、図４に示すように、図３のシェーマ図４１の左乳房にあった丸のマークが削除される。続いて、登録手段１５は削除した候補位置の病変候補領域画像を不正解データとして学習用データ記憶部１６に登録する（ステップＳＴ６）。次のステップＳＴ９で操作入力が終了したと判定されるまで、ステップＳＴ４に戻って次の操作入力を受け付ける。

また、ユーザが医用画像Ｐを観察して図３のシェーマ図４１の丸のマークが付された場所以外のマークが付されていない場所に病変らしい陰影を見つけた場合には、ユーザはマウスなどを用いて陰影に対応するシェーマ図上の位置を指示する操作を行う。例えば、図３のシェーマ図４１上の左乳房の乳頭の右横の位置にカーソルを合わせてクリックする。操作受付手段１４で受け付けたこの操作入力は候補位置を削除する操作には該当しないのでステップＳＴ５は否定され、続いて、操作入力が候補位置の追加であるか否かが判定される（ステップＳＴ７）。シェーマ図４１上の候補位置のマークがない位置をクリックしているので候補位置を追加する操作であると判定され、ステップＳＴ７は肯定される。また、図４に示すように、追加手段１８で指示された位置に対応する候補位置Ｒ３がシェーマ図４１に追加される。続いて、ユーザがマウスなどを用いて候補位置Ｒ３に対応する場所にある医用画像Ｐ上の病変の陰影を囲む操作を行うと、追加手段１８は囲まれた画像部分を病変候補領域画像として追加する（ステップＳＴ８）。さらに、図４に示すように、シェーマ図４１の候補位置Ｒ３に病変候補領域の縮小画像を表示する。再度、ステップＳＴ９で操作入力が終了したと判定されるまで、ステップＳＴ４に戻って次の操作入力を受け付ける。

ユーザは読影が終了すると、図４に示す「ＳＡＶＥ」ボタンを押下して読影レポートを記録する。操作受付手段１４で受け付けたこの操作入力は読影レポートに対する操作入力の終了であると判定され（ステップＳＴ５とステップＳＴ７の判定は否定される）、ステップ９の判定が肯定される。続いて、登録手段１５で削除されなかった候補位置の病変候補領域画像と、追加された候補位置の病変候補領域画像とを正解データとして学習用データ記憶部１６に登録する（ステップＳＴ１０）。

さらに、レポート記録手段１７は、削除されなかった候補位置のマークと追加された候補位置のマーク（縮小画像）とを付したシェーマ図を読影レポートに含めて記録する（ステップＳＴ１１）。

以上、詳細に説明した通り、ユーザが医用画像Ｐを観察しながら読影レポートを作成する作業中に、必要な候補位置のマークの肯定操作と不要な位置の削除操作との両方の操作を行なうことなく、一方の削除操作を行なうことで、不要な病変候補画像を不正解データとして登録し、かつ必要な病変候補領域画像を正解データとして登録することができる。また、画像解析によって病変候補領域画像が抽出されなかった領域については、追加操作によって正解データに病変候補領域画像を追加することができる。

次に、図６の学習処理のフローチャートに従って、学習用データ記憶部１６に蓄積された正解データおよび不正解データを用いて画像解析処理１２の判別器２０に学習を行わせる処理の流れについて説明する。

ある程度、学習用データが蓄積されると、学習用データ記憶部１６から正解データおよび不正解データを取り出して（ステップＳＴ２１）、判別器に再学習を行わせる（ステップＳＴ２２）。再学習を行わせた判別器が画像解析処理１２に組み込まれて読影医用ＷＳ３に再インストールされる。

このように、読影医によって判断された正解データおよび不正解データを学習させることで、画像解析処理の判別性能を向上させることが可能になる。

次に、図を用いて本発明の第２の実施の形態について説明する。本発明の第２の実施の形態における医療情報システム１は、図１に示す第１の実施の形態と同様であるので、詳細な説明は省略する。また、第２の実施の形態の学習用データ作成支援装置３の概略構成も、図２に示す第１の実施の形態と同様であるので、詳細な説明は省略する。

第１の実施の形態では、シェーマ図上のマークを削除する操作、つまり候補位置を否定する操作だけ行われる場合について説明したが、第２の実施の形態では、候補位置を肯定する操作と候補位置を否定する操作の両方を行う場合について、図７のフローチャートに従って説明する。

なお、本実施の形態の操作受付手段１４では、シェーマ図上のマークを指定して右クリックする操作を行うと候補位置を肯定する操作であると判定し、シェーマ図上のマークを指定して左クリックする操作を行うと候補位置を否定する操作であると判定する。

図７は、第２の実施の形態の読影医用ＷＳ３の処理の流れを示すフローチャートである。ステップＳＴ３１〜ステップＳＴ３３の処理は、第１の実施の形態のステップＳＴ１〜ステップＳＴ３の処理と同じであるので詳細な説明は省略する。

ステップＳＴ３１〜ステップＳＴ３３の各ステップが実行されると、一方のディスプレイの画面にはシェーマ図４１，４２，４３，および４４が表示され、他方のディスプレイの画面には医用画像Ｐが表示される。ユーザがマウスなどの入力装置３１を用いてシェーマ図４１，４２，４３，および４４に対して行った操作入力を操作受付手段１４で受け付ける（ステップＳＴ３４）。ユーザが、例えば、図３のシェーマ図４１の左乳房の上部にある丸のマークを選択して左クリックをすると、候補位置を否定する操作であると判定され、ステップＳＴ３５の判定が肯定される。また、図４に示すように、図３のシェーマ図４１にあった丸のマークが消去される（ステップＳＴ３６）。続いて、登録手段１５は、削除されたマークの候補位置の病変候補領域画像を不正解データとして登録する（ステップＳＴ３７）。読影が終了して、ステップＳＴ４２で操作入力が終了したと判定されるまで、ステップＳＴ３４に戻って次の操作入力を受け付ける。

次に、ユーザがシェーマ図４２の右乳房の上部にある丸のマークを選択して右クリックする操作を行うと、候補位置を肯定する操作であると判定される（ステップＳＴ３５の判定は否定されステップＳＴ３８が肯定される）。さらに、図４に示すように、右クリックしたシェーマ図４２上の丸のマークの候補位置に該当する病変候補領域の縮小画像を丸の中に表示する。また、登録手段１５は肯定された候補位置の病変候補領域画像を正解データとして登録する（ステップＳＴ４１）。再度、ステップＳＴ４２で操作入力が終了したと判定されるまで、ステップＳＴ３４に戻って次の操作入力を受け付ける。

あるいは、ユーザが医用画像Ｐを観察して、図３のシェーマ図４１の丸のマークが付された場所以外に病変らしい陰影をユーザが見つけた場合には、ユーザはマウスなどを用いて陰影に対応するシェーマ図４１の乳頭の右横の位置を指示する操作を行う。操作受付手段１４で受け付けた操作入力が候補位置の追加であると判定すると（ステップＳＴ３５とステップＳＴ３８が否定され、ステップＳＴ３９が肯定される）、追加手段１８で指示された位置に対応する候補位置Ｒ３のマークがシェーマ図４１上に追加される（ステップＳＴ４０）。続いて、ユーザがマウスなどを用いて医用画像Ｐ上の病変らしい陰影を囲む操作を行うと、追加手段１８で囲まれた画像部分を病変候補領域画像として追加する（ステップＳＴ４０）。登録手段１５は追加された病変候補領域画像を正解データとして登録する（ステップＳＴ４１）。再度、ステップＳＴ４２で操作入力が終了したと判定されるまで、ステップＳＴ３４に戻って次の操作入力を受け付ける。

読影が終了すると、ユーザは「ＳＡＶＥ」ボタンを押下して読影レポートを記録する。操作受付手段１４によって受け付けた操作入力は読影レポートに対する操作入力の終了であると判定され（ステップＳＴ３５とステップＳＴ３８とステップＳＴ３９の判定は否定される）、ステップＳＴ４２の判定が肯定される。

続いて、レポート記録手段１７は、右クリックされたマークの候補位置と追加された候補位置のマークを付したシェーマ図４１，４２，４３，および４４を読影レポートに含めて記録する（ステップＳＴ４３）。

以上、詳細に説明したように、ユーザが医用画像Ｐを観察しながら読影レポートを作成する作業中に、画像解析処理で検出された候補位置を肯定する操作と、候補位置を否定する操作の両方を行うことで、全ての操作入力の終了を待つことなく確実に病変候補領域画像に正解データと不正解データのラベルを付すことが可能になる。

第２の実施の形態の画像解析処理の判別器の学習を行わせる処理は、第１の実施の形態と同様に行われるので、詳細な説明は省略する。

以上、第１および第２の実施の形態で説明したように、読影レポートを作成しながら学習用データを作成し、さらに、その学習用データを用いて画像解析処理の判別器に学習させることで、判別性能を随時向上させることが可能になる。

上述の第１および第２の実施の形態では、シェーマ図上の候補位置のマークがないところに候補位置を指示して、候補位置を追加する場合について説明したが、ユーザが医用画像Ｐ上の候補位置がないところで病変らしい陰影を囲む操作を行った画像部分を病変候補領域画像として追加し、その位置に対応するシェーマ図上の位置に自動的に候補位置のマークを表示するようにしてもよい。

また、上述の第１および第２の実施の形態では、画像解析処理が、読影医用ＷＳ３に設けられている場合について説明したが、ネットワークを介して接続された画像処理サーバ上に設けられてもよい。この場合には、ネットワークを介して得られた画像解析処理の結果に従ってシェーマ図を表示する。また、判別器の再学習も画像処理サーバで行うようにするのが望ましい。

なお、上記実施の形態において、学習用データ作成支援装置の各種の処理を実行する処理部（processing unit)のハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウエア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ（Central Processing Unit)、ＦＰＧＡ (Field Programmable Gate Array) などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device:ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されてもよいし、同種または異種の２つ以上のプロセッサの組み合せ（例えば、複数のＦＰＧＡ、またはＣＰＵとＦＰＧＡの組み合わせなど）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウエアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System On Chip:ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

１ 医療情報システム
２ モダリティ
３ 学習用データ作成支援装置
３ 読影医用ワークステーション
４ 診療科用ワークステーション
５ 画像データベース
６ 読影レポートデータベース
７ ネットワーク
９ ステップ
１１ 取得手段
１２ 画像解析処理
１３ 表示手段
１４ 操作受付手段
１５ 登録手段
１６ 学習データ記憶部
１７ レポート記録手段
１８ 追加手段
１９ 学習手段
２０ 判別器
３０ 表示装置
３１ 入力装置
４１，４２，４３，４４ シェーマ図
４５ 縮小画像表示枠

Claims (11)

1. 医用画像に判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置の各々に標識を設けて人体の模式図上に表示する表示手段と、
   指定された前記候補位置に表示されている標識を削除する操作を該候補位置を否定する操作として受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を前記判別器を学習させるための正解データとして登録するか、または、前記候補位置に表示されている標識を選択する操作を該候補位置を肯定する操作として受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を前記正解データとして登録する登録手段と、
   前記否定する操作が受け付けられた場合の前記否定候補位置以外の候補位置に標識を付した模式図を読影レポートに含めて記録するか、または、前記肯定する操作が受け付けられた場合の前記肯定候補位置に標識を付した模式図を読影レポートに含めて記録するレポート記録手段と
   を備えた学習用データ作成支援装置。
2. 前記登録手段が、前記否定する操作が受け付けられた場合の前記否定候補位置に対応する病変候補領域画像、および、前記肯定する操作が受け付けられた場合の前記肯定候補位置の病変候補領域画像以外の病変候補領域画像を不正解データとして登録する請求項１記載の学習用データ作成支援装置。
3. 医用画像に学習済みの判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示手段と、
   指定された候補位置を否定する操作を受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する登録手段と、
   前記登録された正解データを用いて前記判別器の再学習を行う学習手段と、
   を備え、
   前記画像解析処理の前記学習済みの判別器を前記再学習した判別器に更新する学習用データ作成支援装置。
4. 医用画像に学習済みの判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示手段と、
   指定された候補位置を否定する操作を受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録し、かつ、前記否定する操作が受け付けられた場合の前記否定候補位置に対応する病変候補領域画像、および、前記肯定する操作が受け付けられた場合の前記肯定候補位置の病変候補領域画像以外の病変候補領域画像を不正解データとして登録する登録手段と、
   前記登録された正解データおよび不正解データの少なくとも一方を用いて前記判別器の再学習を行う学習手段と
   を備え、
   前記画像解析処理の前記学習済みの判別器を前記再学習した判別器に更新する学習用データ作成支援装置。
5. 前記模式図が、シェーマ図である請求項１〜４のいずれか１項に記載の学習用データ作成支援装置。
6. 学習用データ作成支援装置が、
   医用画像に判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置の各々に標識を設けて人体の模式図上に表示する表示ステップと、
   指定された前記候補位置に表示されている標識を削除する操作を該候補位置を否定する操作として受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を前記判別器を学習させるための正解データとして登録するか、または、前記候補位置に表示されている標識を選択する操作を該候補位置を肯定する操作として受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を前記正解データとして登録する登録ステップと、
   前記否定する操作が受け付けられた場合の前記否定候補位置以外の候補位置に標識を付した模式図を読影レポートに含めて記録するか、または、前記肯定する操作が受け付けられた場合の前記肯定候補位置に標識を付した模式図を読影レポートに含めて記録するレポート記録ステップと
   を実行する学習用データ作成支援方法。
7. コンピュータに、
   医用画像に判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置の各々に標識を設けて人体の模式図上に表示する表示ステップと、
   指定された前記候補位置に表示されている標識を削除する操作を該候補位置を否定する操作として受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を前記判別器を学習させるための正解データとして登録するか、または、前記候補位置に表示されている標識を選択する操作を該候補位置を肯定する操作として受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を前記正解データとして登録する登録ステップと、
   前記否定する操作が受け付けられた場合の前記否定候補位置以外の候補位置に標識を付した模式図を読影レポートに含めて記録するか、または、前記肯定する操作が受け付けられた場合の前記肯定候補位置に標識を付した模式図を読影レポートに含めて記録するレポート記録ステップと
   を実行させるための学習用データ作成支援プログラム。
8. 学習用データ作成支援装置が、
   医用画像に学習済みの判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示ステップと、
   指定された候補位置を否定する操作を受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する登録ステップと、
   前記登録された正解データを用いて前記判別器の再学習を行う学習ステップと、
   を実行する学習用データ作成支援方法であって、
   前記画像解析処理の前記学習済みの判別器を前記再学習した判別器に更新する更新ステップを更に実行する学習用データ作成支援方法。
9. コンピュータに、
   医用画像に学習済みの判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示ステップと、
   指定された候補位置を否定する操作を受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録する登録ステップと、
   前記登録された正解データを用いて前記判別器の再学習を行う学習ステップと、
   を実行せるための学習用データ作成支援プログラムであって、
   前記画像解析処理の前記学習済みの判別器を前記再学習した判別器に更新する更新ステップを更に実行させるための学習用データ作成支援プログラム。
10. 学習用データ作成支援装置が、
    医用画像に学習済みの判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示ステップと、
    指定された候補位置を否定する操作を受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録し、かつ、前記否定する操作が受け付けられた場合の前記否定候補位置に対応する病変候補領域画像、および、前記肯定する操作が受け付けられた場合の前記肯定候補位置の病変候補領域画像以外の病変候補領域画像を不正解データとして登録する登録ステップと、
    前記登録された正解データおよび不正解データの少なくとも一方を用いて前記判別器の再学習を行う学習ステップと
    を実行する学習用データ作成支援方法であって、
    前記画像解析処理の前記学習済みの判別器を前記再学習した判別器に更新する更新ステップをさらに備えた学習用データ作成支援方法。
11. コンピュータに、
    医用画像に学習済みの判別器を用いて病変候補領域を検出する画像解析処理を施して得られた複数の病変候補領域画像各々の候補位置を人体の模式図上に表示する表示ステップと、
    指定された候補位置を否定する操作を受け付けて、前記否定する操作が受け付けられた否定候補位置に対応する病変候補領域画像以外の病変候補領域画像を正解データとして登録するか、または、指定された候補位置を肯定する操作を受け付けて、前記肯定する操作が受け付けられた肯定候補位置に対応する病変候補領域画像を正解データとして登録し、かつ、前記否定する操作が受け付けられた場合の前記否定候補位置に対応する病変候補領域画像、および、前記肯定する操作が受け付けられた場合の前記肯定候補位置の病変候補領域画像以外の病変候補領域画像を不正解データとして登録する登録ステップと、
    前記登録された正解データおよび不正解データの少なくとも一方を用いて前記判別器の再学習を行う学習ステップと
    を実行させるための学習用データ作成支援プログラムであって、
    前記画像解析処理の前記学習済みの判別器を前記再学習した判別器に更新する更新ステップを更に実行させるための学習用データ作成支援プログラム。

Images