JP7828203B2 - 文書作成装置、文書作成方法及びプログラム - Google Patents

Description

本発明は文書作成装置、文書作成方法及びプログラムに係り、特に画像に関する文書を作成する技術に関する。

ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer-Aided Diagnosis）処理により医用画像を解析して、医用画像に含まれる病変等の領域、位置、及び体積等を抽出し、これらを解析結果として取得することが行われている。読影医は、自身の読影用端末において、医用画像、及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

また、特許文献１、２には、医用画像に関する医用文書を作成する際の操作者の負担を軽減する手法が開示されている。

特開２０１９－１４９００５号公報 特開２００９－０７０２０１号公報

このように、読影レポートの所見文生成は、読影医が全て手動で入力する方法に代わって、近年、テンプレートによる所見文の自動入力、又は機械学習による所見文の候補を抽出する方法など、所見文の候補を自動的に抽出する方法に対するニーズが高まっている。

しかしながら、従来の技術では、画像中の病変に対して情報量の多い文章を読影レポートに記載したい場合に、自動生成される文章は品質が悪く、記載可能な文章が提供されないという問題点があった。

本発明はこのような事情に鑑みてなされたもので、文書に記載すべき情報量が多い画像であっても、画像に関する高品質な文書を作成する文書作成装置、文書作成方法及びプログラムを提供することを目的とする。

上記目的を達成するための文書作成装置の一の態様は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、を備え、少なくとも１つのプロセッサは、入力画像を解析してコンテンツを取得し、複数の文書が保存されたデータベースからコンテンツの少なくとも一部を含むベース文章を特定し、ベース文章の少なくとも一部を修正して、入力画像に関する第１の文書であって、コンテンツとの過不足のない第１の文書を作成する文書作成装置である。本態様によれば、入力画像のコンテンツを含む文章をベースとして入力画像に関する第１の文章を作成することができるので、文書に記載すべき情報量が多い入力画像であっても、入力画像に関する高品質な文書を作成することができる。

少なくとも１つのプロセッサは、複数のベース文章を特定し、複数のベース文章を組み合わせて修正することが好ましい。これにより、コンテンツに対して不足のない第１の文書を作成することができる。

少なくとも１つのプロセッサは、ベース文章の修正範囲を、ベース文章のうちコンテンツに対する過不足に基づいて決定することが好ましい。また、少なくとも１つのプロセッサは、ベース文章の修正範囲を、文単位で決定することが好ましい。これにより、ベース文章の修正範囲を適切に決定することができる。

データベースには、複数の文書に含まれる文章が構造化されて保存されていることが好ましい。これにより、適切にベース文章を特定することができる。

入力画像は、第１の被検体が撮影された医用画像であり、第１の文書は、読影レポートであることが好ましい。本態様は、医用画像に関する読影レポートの作成に好適である。

複数の文書は、第１の被検体とは異なる第２の被検体が撮影された医用画像に対する読影レポートを含むことが好ましい。これにより、同様のコンテンツを含む異なる被検体のベース文章を特定することができる。

コンテンツは、病変に関する解剖学的場所、性状、サイズ、及び事実性のうちの少なくとも１つを含むことが好ましい。これにより、病変に関する第１の文書を作成することができる。

少なくとも１つのプロセッサは、入力画像の臓器認識結果、及び病変認識結果の少なくとも一方を利用してベース文章を特定することが好ましい。これにより、臓器、及び病変の少なくとも一方に関する第１の文書を作成することができる。

修正は、追記、変更、及び削除のうちの少なくとも１つを含むことが好ましい。これにより、ベース文章から第１の文書を作成することができる。

少なくとも１つのプロセッサは、予め用意されたテンプレート、及び学習済モデルの少なくとも一方を使用して追記、及び変更のうちの少なくとも一方を行うことが好ましい。これにより、追記、及び変更のうちの少なくとも一方を適切に行うことができる。

少なくとも１つのプロセッサは、コンテンツの種類に基づいて追記する位置をベース文章の修正範囲として決定することが好ましい。これにより、追記する位置を適切に決定することができる。

少なくとも１つのプロセッサは、ベース文章の修正範囲を修正範囲以外の範囲と区別してディスプレイに表示させることが好ましい。これにより、ユーザに修正範囲を認識させることができる。

少なくとも１つのプロセッサは、入力画像の関心領域をユーザに指定させ、関心領域に基づいたコンテンツを取得する、ことが好ましい。これにより、ユーザの所望の関心領域についての第１の文書を作成することができる。

少なくとも１つのプロセッサは、コンテンツと、複数の文書との一致度を算出し、一致度に基づいてベース文章を特定することが好ましい。これにより、一致度の相対的に高いベース文章を特定することができる。

プロセッサは、取得したコンテンツの情報を全て用い、かつ、ベース文章から不要な情報を削除することでコンテンツとの過不足のない第１の文書を作成することが好ましい。これにより、コンテンツとの過不足のない第１の文書を適切に作成することができる。

上記目的を達成するための文書作成方法の一の態様は、入力画像を取得する取得工程と、入力画像を解析してコンテンツを取得する解析工程と、複数の文書が保存されたデータベースからコンテンツの少なくとも一部を含むベース文章を特定する特定工程と、ベース文章の少なくとも一部を修正して、入力画像に関する第１の文書であって、コンテンツとの過不足のない第１の文書を作成する作成工程と、を備える文書作成方法である。本態様によれば、入力画像のコンテンツを含む文章をベースとして入力画像に関する第１の文章を作成することができるので、文書に記載すべき情報量が多い入力画像であっても、入力画像に関する高品質な文書を作成することができる。

上記目的を達成するためのプログラムの一の態様は、上記の文書作成方法をコンピュータに実行させるプログラムである。このプログラムが記録された、コンピュータが読み取り可能な非一時的記憶媒体も本態様に含んでよい。本態様によれば、入力画像のコンテンツを含む文章をベースとして入力画像に関する第１の文章を作成することができるので、文書に記載すべき情報量が多い入力画像であっても、入力画像に関する高品質な文書を作成することができる。

本発明によれば、文書に記載すべき情報量が多い画像であっても、画像に関する高品質な文書を作成することができる。

図１は、文書作成システムの全体構成図である。 図２は、文書作成装置の構成を示すブロック図である。 図３は、文書作成システムを用いた文書作成方法を示すフローチャートである。 図４は、読影対象画像、及びその所見文を示す図である。 図５は、入力された所見文、及びその構造化結果の一例を示す図である。 図６は、読影対象画像、及びその所見文を示す図である。 図７は、学習済みモデルが分析する肺結節の性状の一例を示す図である。 図８は、ある病変に対する性状分析結果とその所見文を示す図である。 図９は、過去の読影レポートの所見文、及びその構造化結果の一例である。 図１０は、過去の読影レポートの所見文、及びその構造化結果の一例である。

以下、添付図面に従って本発明の好ましい実施形態について詳説する。

＜従来の課題＞
情報量の多い文章を記載して読影レポートを作成する場合の従来の課題について説明する。以下に、情報量の多い文章の例を示す。
「右肺Ｓ１に長径３．２ｃｍの結節を認めます。境界明瞭で充実型です。辺縁はやや不整で一部にスピキュラを認めます。内部に辺縁不整で薄壁の空洞を認めます。石灰化・気管支透亮像は認めません。胸膜陥入を認めます。」
このような情報量の多い文章をテンプレート方式で提供する場合、システムが保有するテンプレートの中にその文章に対応するものがなければ、提供することができない。また、過去の読影レポートを参考にしてテンプレートを作成する場合も、全く同じ形のもの、すなわちそっくりそのまま流用できるものがないと、テンプレートを用意することができない。

例えば、「ＬとＭとＮを認めません。」、及び「ＬとＭを認めます。」のテンプレートしか存在しない場合に、「ＬとＭとＮを認めます。」という文章を作成することはできなかった。同様に、「内部に空洞と石灰化とを認めます。」というテンプレートしか存在しない場合に、「内部に空洞と石灰化と気管支透亮像を認めます。」という文章を作成することはできなかった。

一方、情報量の多い文章をニューラルネットワーク等の学習済みモデル方式で提供する場合、大量種類の性状情報を言及する文章の生成は困難であり、読影医の希望する所見文が生成されず、読影医の希望しない所見文が提供される恐れがある。すなわち、学習済みモデル方式で提供する場合、適切性及び流暢性が課題となる。ここで、適切性とは、言い過ぎや言い漏れがないことを指し、流暢性とは、自然言語の表現として不自然な言い回しでないことを指す。

このように、従来は情報量の多い文章を提供することは困難であった。

＜文書作成システム＞
本実施形態に係る文書作成システムは、被検体（患者）の医用画像を撮影し、撮影された医用画像に関する読影レポートを作成するシステムである。

図１は、文書作成システム１０の全体構成図である。図１に示すように、文書作成システム１０は、医用画像検査機器１２と、医用画像データベース１４と、文書作成装置１６と、読影レポートデータベース１８と、ユーザ端末２０と、を備えて構成される。

医用画像検査機器１２と、医用画像データベース１４と、文書作成装置１６と、読影レポートデータベース１８と、ユーザ端末２０とは、ネットワーク２２を介してそれぞれデータを送受信可能に接続される。ネットワーク２２は、医療機関内の各種機器を通信接続する有線、又は無線のＬＡＮ（Local Area Network）を含む。ネットワーク２２は、複数の医療機関のＬＡＮ同士を接続するＷＡＮ（Wide Area Network）を含んでもよい。

医用画像検査機器１２は、被検体の検査対象部位を撮像し、医用画像を生成する撮影装置である。医用画像検査機器１２の例として、Ｘ線撮影装置、ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、超音波装置、及び平面Ｘ線検出器を用いたＣＲ（Computed Radiography）装置が挙げられる。

医用画像データベース１４は、医用画像検査機器１２によって撮影された医用画像を管理するデータベースである。医用画像データベース１４は、医用画像を保存するための大容量ストレージ装置を備えるコンピュータが適用される。コンピュータには、データベース管理システムの機能を提供するソフトウェアが組み込まれる。

医用画像のフォーマットは、Ｄｉｃｏｍ（Digital Imaging and COmmunications in Medicine）規格を適用可能である。医用画像は、Ｄｉｃｏｍ規格において規定された付帯情報（Ｄｉｃｏｍタグ情報）が付加されてもよい。なお、本明細書における画像という用語には、写真等の画像自身の意味の他に、画像を表す信号である画像データの意味が含まれる。

文書作成装置１６は、入力画像を解析してコンテンツを取得し、複数の文書が保存されたデータベースからコンテンツの少なくとも一部を含むベース文章を特定し、ベース文章の少なくとも一部を修正して、入力画像に関する第１の文書であって、コンテンツとの過不足のない第１の文書を作成する装置である。ここでは、入力画像は、医用画像検査機器１２、又は医用画像データベース１４から取得した被検体の現在画像である。また、複数の文書が保存されたデータベースは読影レポートデータベース１８であり、第１の文書は被検体の現在画像に関する読影レポートである。

文書作成装置１６は、パーソナルコンピュータ、又はワークステーション（「コンピュータ」の一例）を適用可能である。図２は、文書作成装置１６の構成を示すブロック図である。図２に示すように、文書作成装置１６は、プロセッサ１６Ａと、メモリ１６Ｂと、通信インターフェース１６Ｃと、を備える。

プロセッサ１６Ａは、メモリ１６Ｂに記憶された命令を実行する。プロセッサ１６Ａのハードウェア的な構造は、次に示すような各種のプロセッサ（processor）である。各種のプロセッサには、ソフトウェア（プログラム）を実行して各種の機能部として作用する汎用的なプロセッサであるＣＰＵ（Central Processing Unit）、画像処理に特化したプロセッサであるＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるＰＬＤ（Programmable Logic Device）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種又は異種の２つ以上のプロセッサ（例えば、複数のＦＰＧＡ、又はＣＰＵとＦＰＧＡの組み合わせ、あるいはＣＰＵとＧＰＵの組み合わせ）で構成されてもよい。また、複数の機能部を１つのプロセッサで構成してもよい。複数の機能部を１つのプロセッサで構成する例としては、第１に、クライアント又はサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組合せで１つのプロセッサを構成し、このプロセッサが複数の機能部として作用させる形態がある。第２に、ＳｏＣ（System On Chip）等に代表されるように、複数の機能部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の機能部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路（circuitry）である。

メモリ１６Ｂは、プロセッサ１６Ａに実行させるための命令を記憶する。メモリ１６Ｂは、不図示のＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。プロセッサ１６Ａは、ＲＡＭを作業領域とし、ＲＯＭに記憶された後述する文書作成プログラムを含む各種のプログラム及びパラメータを使用してソフトウェアを実行し、かつＲＯＭ等に記憶されたパラメータを使用することで、文書作成装置１６の各種の処理を実行する。

通信インターフェース１６Ｃは、所定のプロトコルに従って、ネットワーク２２を介した医用画像検査機器１２、医用画像データベース１４、読影レポートデータベース１８、及びユーザ端末２０との通信を制御する。

文書作成装置１６は、インターネットを介して複数の医療機関からアクセス可能なクラウドサーバであってもよい。文書作成装置１６で行う処理は、課金制、又は固定料金制のクラウドサービスであってもよい。

図１の説明に戻り、読影レポートデータベース１８は、ユーザ端末２０において読影医（放射線科医）等のユーザによって生成された過去の読影レポートを管理するデータベースである。読影レポートは、所見文を含む。所見文は、句点及びピリオド等で区切られる文に限定されず、単語のまとまりであってもよい。所見文は、１つの文であってもよいし、複数の文から構成される文章であってもよい。読影レポートデータベース１８は、過去の読影レポートの所見文を構造化して保存していてもよいし、所見文を構造化せずに保存していてもよい。

読影レポートデータベース１８は、読影レポート保存するための大容量ストレージ装置を備えるコンピュータが適用される。コンピュータには、データベース管理システムの機能を提供するソフトウェアが組み込まれる。医用画像データベース１４と読影レポートデータベース１８とは、１つのコンピュータで構成されてもよい。

ユーザ端末２０は、読影医が読影レポートを閲覧、及び編集するための端末機器である。ユーザ端末２０は、例えばパーソナルコンピュータが適用される。ユーザ端末２０は、ワークステーションであってもよいし、タブレット端末であってもよい。ユーザ端末２０は、入力装置２０Ａ及びディスプレイ２０Ｂを備える。読影医は、入力装置２０Ａを使用して文書作成システム１０への指示を入力する。また、ユーザ端末２０は、医用画像、及び読影レポートをディスプレイ２０Ｂに表示させる。さらに、読影医は、ディスプレイ２０Ｂに表示された医用画像を読影し、読影結果である所見文を、入力装置２０Ａを使用して入力する。

＜文書作成方法＞
図３は、文書作成システム１０を用いた文書作成方法を示すフローチャートである。文書作成方法は、プロセッサ１６Ａがメモリ１６Ｂに記憶された文書作成プログラムを実行することで実現される。文書作成プログラムは、コンピュータが読み取り可能な非一時的記憶媒体によって提供されてもよいし、インターネットを介して提供されてもよい。

ステップＳＴ１、及びＳＴ２は、所見文を記載した読影レポートを読影レポートデータベース１８に保存させるために予め行う処理である。

ステップＳＴ１では、読影医は、ユーザ端末２０の入力装置２０Ａを用いて読影対象画像を指定する。文書作成装置１６は、医用画像検査機器１２において撮影され、医用画像データベース１４に保存された医用画像の中から、読影医が指定した読影対象画像を読み出し、ユーザ端末２０のディスプレイ２０Ｂに表示させる。図４は、読影対象画像、及びその所見文を示す図である。図４に示すＦ４Ａは、ステップＳＴ１で指定された読影対象画像Ｉ１を示している。

続いて、文書作成装置１６は、ディスプレイ２０Ｂに表示された読影対象画像から病変領域（「関心領域」の一例）を抽出する。病変領域の抽出は、読影医がユーザ端末２０の入力装置２０Ａを用いて手動で行ってもよい。ここでは、Ｆ４Ａに示す読影対象画像Ｉ１の病変領域Ｌ１が抽出されたものとする。

ステップＳＴ２では、読影医は、ステップＳＴ１でディスプレイ２０Ｂに表示された読影対象画像Ｉ１の病変領域Ｌ１について、入力装置２０Ａを用いて所見文を入力する。ここでは、Ｆ４Ｂに示す所見文ＦＳ１が保存されたものとする。所見文ＦＳ１は、以下のように記載されている。「左肺のＳ３に３ｃｍの腫瘤があります。辺縁不明瞭で、形状は不整形です。一部にスピキュラを認め、分葉状を呈します。内部には空洞を認め、空洞壁は肥厚しています。胸膜に接触しています。」
その後、文書作成装置１６は、入力された所見文を含む読影レポートを読影レポートデータベース１８に保存させる。

このステップＳＴ１、及びＳＴ２の処理を繰り返すことで、読影レポートデータベース１８には所見文を含む読影レポートが複数保存される。ステップＳＴ１１、及びＳＴ２の処理の繰り返しは、それぞれ異なる被検体について行われることが好ましい。

なお、本実施形態では、文書作成装置１６は、所見文を構造化し、構造化した所見文を読影レポートデータベース１８に保存させる。図５は、入力された所見文、及びその構造化結果の一例を示す図である。図５に示すＦ５Ａは、入力された所見文である。ここでは、所見文は、「右肺のＳ４に３ｃｍの充実型腫瘤を認めます。境界は不明瞭で、辺縁は分葉状で、スピキュラを呈しています。胸膜陥入像も認めます。内部に石灰化、空洞、気管支透亮像は認めません。」と記載されている。

図５に示すＦ５Ｂは、Ｆ５Ａの所見文を自然言語処理で構造化した構造化結果である。Ｆ５Ｂに示すように、構造化結果は、自由記述で記載された所見文が病変毎の情報として構造化されている。

ここでは、「臓器」の項目に「肺」、「場所」の項目に「右肺」及び「Ｓ４」、「病変」の項目に「腫瘤」、「病変の事実性」の項目に「あり」、「病名」の項目及び「病名の事実性」の項目は空欄、「サイズ」の項目に「長径３ｃｍ」、「性状」の項目に「充実型」、「境界不明瞭」、「分葉状（＋）」、「胸膜陥入像（＋）」、「石灰化（－）」「空洞（－）」、「気管支透亮像（－）」が、関係性が特定されて分類されている。なお、事実性とは、存在可能性を意味する。

このように、読影レポートデータベース１８には、複数の所見文がそれぞれ構造化されて保存される。

ステップＳＴ３以降は、読影レポートデータベース１８に保存された所見文に基づいて新たな所見文を自動生成する処理である。ステップＳＴ３（「取得工程」の一例）では、読影医は、ユーザ端末２０の入力装置２０Ａを用いて、医用画像検査機器１２において撮影され、医用画像データベース１４に保存された医用画像の中から、被検体の読影対象画像を指定する。

ステップＳＴ３は、ステップＳＴ１の被検体（「第２の被検体」の一例）とは異なる被検体（「第１の被検体」の一例）の医用画像についての読影の場面であり、ステップＳＴ３で指定される読影対象画像は、ステップＳＴ１で指定された読影対象画像Ｉ１とは異なる画像である。図６は、読影対象画像、及びその所見文を示す図である。図６に示すＦ６Ａは、ステップＳＴ３で指定された読影対象画像Ｉ２を示している。

文書作成装置１６は、医用画像データベース１４から読影対象画像Ｉ２を読み出し、ユーザ端末２０のディスプレイ２０Ｂに表示させる。また、文書作成装置１６は、読影対象画像Ｉ２を解析し、読影対象画像Ｉ２から病変領域を抽出する。病変領域の抽出は、読影医がユーザ端末２０の入力装置２０Ａを用いて手動で行ってもよい。さらに、文書作成装置１６は、病変領域の解剖学的場所と大きさを取得する。ここでは、Ｆ５Ａに示す読影対象画像Ｉ２の病変領域Ｌ２が抽出されたものとする。

ステップＳＴ４（「解析工程」の一例）では、文書作成装置１６は、ステップＳＴ３で指定された読影対象画像Ｉ２に対しＣＡＤ処理（「解析」の一例）により性状分析を行い、性状分析結果（画像特徴）を取得する。ＣＡＤ処理は、畳み込みニューラルネットワーク（ＣＮＮ：Convolution Neural Network）が適用された学習済みモデルが用いられる。ここでは、文書作成装置１６は、肺結節を発見するＣＡＤ処理、及び肝腫瘍を発見するＣＡＤ処理が可能である。ステップＳＴ３において指定された病変領域Ｌ２は、肺結節であったものとする。

ステップＳＴ５（「特定工程」の一例）では、文書作成装置１６は、読影対象画像Ｉ２のコンテンツに基づいて、読影レポートデータベース１８に保存された複数の所見文の構造化データを検索し、ベースとなる過去の所見文（「ベース文章」の一例）を抽出する。ベースとなる所見文は、読影レポートデータベース１８に保存された所見文のうち、読影対象画像Ｉ２のコンテンツとの一致度が相対的に高いものが抽出される。読影対象画像Ｉ２のコンテンツは、病変に関する解剖学的場所、性状、サイズ、及び事実性のうちの少なくとも１つを含む。ここでは、読影対象画像Ｉ２のコンテンツは、ステップＳＴ３で取得した病変領域の解剖学的場所と大きさ、及びステップＳＴ４における性状分析結果である。文書作成装置１６は、読影レポートデータベース１８に保存された構造化前の全ての所見文について、総当たりで検索して所見文を抽出してもよい。

ベースとなる所見文の抽出は、読影対象画像に対する臓器認識結果を利用して特定してもよい。例えば、肺が読影対象であれば、肺に関する読影レポートからベースとなる所見文を探してもよい。所見文の抽出は、読影対象画像に対する病変認識結果を利用して特定してもよい。例えば、結節、炎症、胸水などが読影対象であれば、それぞれに対応する読影レポートからベースとなる所見文を探してもよい。

ここでは、ステップＳＴ４において病変領域Ｌ２が肺結節であると判明しているため、文書作成装置１６が複数の所見文の構造化データを比較する範囲は、肺結節に関する所見文のみでよい。

ベースとなる所見文の抽出は、読影医が手動で行ってもよい。この場合、文書作成装置１６が複数の所見文の一覧をディスプレイ２０Ｂに表示させ、一覧の中から最も一致度の高い所見文を読影医が入力装置２０Ａを用いて選択すればよい。

ここでは、図４のＦ４Ｂに示した所見文ＦＳ１がベースとして抽出されたものとする。

ステップＳＴ６では、文書作成装置１６は、読影対象画像Ｉ２のコンテンツと、ベースとして抽出された所見文ＦＳ１との一致度、及び相違度を算出する。ここでは、所見文ＦＳ１のうち、以下のＡ１、Ａ２、Ａ３、及びＡ５の箇所が読影対象画像Ｉ２のコンテンツと一致し、Ａ４の箇所が読影対象画像Ｉ２のコンテンツと相違すると算出されたものとする。

Ａ１「左肺のＳ３に３ｃｍの腫瘤があります。」
Ａ２「辺縁不明瞭で、形状は不整形です。」
Ａ３「一部にスピキュラを認め、分葉状を呈します。」
Ａ４「内部には空洞を認め、空洞壁は肥厚しています。」
Ａ５「胸膜に接触しています。」

すなわち、文書作成装置１６は、以下の差分（「コンテンツとの過不足」の一例）を発見している。
差分：「内部：空洞なし、気管支透亮像：あり」
なお、読影対象画像Ｉ２のコンテンツと、ベースとして抽出された所見文との一致度、及び相違度は、読影医が手動で抽出してもよい。

ステップＳＴ７（「作成工程」の一例）では、文書作成装置１６は、ステップＳＴ４の分析結果とステップＳＴ６の一致度及び相違度とから、読影対象画像Ｉ２の病変領域Ｌ２に関する所見文を生成し、ディスプレイ２０Ｂに表示させる。図６に示すＦ６Ｂは、ステップＳＴ７で生成、及び表示された所見文ＦＳ２である。所見文ＦＳ２は、以下のように記載されている。「左肺のＳ３に３ｃｍの腫瘤があります。辺縁不明瞭で、形状は不整形です。一部にスピキュラを認め、分葉状を呈します。内部に空洞を〇〇します。△△しています。胸膜に接触しています。」

ここで、所見文ＦＳ２のうち、以下のＢ１、Ｂ２、Ｂ３、及びＢ５の箇所は修正が不要の箇所であり、Ｂ４の箇所は修正が必要な箇所である。

Ｂ１「左肺のＳ３に３ｃｍの腫瘤があります。」
Ｂ２「辺縁不明瞭で、形状は不整形です。」
Ｂ３「一部にスピキュラを認め、分葉状を呈します。」
Ｂ４「内部に空洞を○○しています。△△しています。」
Ｂ５「胸膜に接触しています。」

すなわち、所見文ＦＳ２のＢ１、Ｂ２、Ｂ３、及びＢ５の箇所は、所見文ＦＳ１のＡ１、Ａ２、Ａ３、及びＡ５の箇所と共通である。文書作成装置１６は、修正が必要な箇所（「修正範囲」の一例）を修正が不要な箇所（「修正範囲以外」の一例）と区別してディスプレイ２０Ｂに表示させてもよい。文書作成装置１６は、修正が必要な箇所を自動修正してもよいし、修正する候補を少なくとも１つ以上表示してもよい。

なお、修正とは、追記、変更、及び削除のうちの少なくとも１つを含む。修正範囲は、読影対象画像のコンテンツに対する過不足に基づいて決定してもよい。修正範囲は、文単位で決定してもよい。

追記、及び変更は、予め用意したテンプレートで作成した文章を使用して追記、及び変更してもよいし、学習済みモデル方式で文章を使用して追記、及び変更してもよい。追記、及び変更する文章は所見文のうちの一部であり、情報量が少ない文章であるため、テンプレート方式、及び学習済みモデル方式により修正することができる。

ここでは、読影医は、入力装置２０Ａを用いて、Ｂ４の「〇〇、△△」の個所を選択し、適切な用語、及び文を入力する。これにより、読影医は読影対象画像Ｉ２に関する所見文を完成させることができる。

なお、文書作成装置１６は、ステップＳＴ６で抽出した差分について、以下の内容を追加する処理を自動で行うことで、所見文ＦＳ１を修正した新たな所見文を作成してもよい。

追加内容：「上記結節に対して、内部に空洞は認めず、気管支透亮像を認める。」

このように作成された所見文は、以下のように記載されている。

「左肺のＳ３に３ｃｍの腫瘤があります。辺縁不明瞭で、形状は不整形です。一部にスピキュラを認め、分葉状を呈します。内部に空洞は認めず、気管支透亮像を認める。胸膜に接触しています。」

すなわち、この所見文は、所見文ＦＳ１のＡ１、Ａ２、Ａ３、及びＡ５の箇所は共通であり、Ａ４の箇所について、「内部に空洞は認めず、気管支透亮像を認める」に変更されたものである。

このように、文書作成装置１６は、読影対象画像Ｉ２から取得したコンテンツを全て用い、かつ、所見文ＦＳ１から不要な情報を削除することで、コンテンツとの過不足のない所見文を作成する。ここでは、同一の病気の異なる被検体の所見文ＦＳ１を有効活用している。

なお、ステップＳＴ７において、修正が必要な複数の所見文をディスプレイ２０Ｂに表示させて、読影医に選択させてもよい。修正が必要な所見文を複数表示する場合、修正すべき範囲をそれぞれ異なるように表示する。以下は、修正が必要な箇所を候補Ｃ１、Ｃ２、及びＣ３でそれぞれ異なるように表示する例である。候補Ｃ１では〇〇が、候補Ｃ２では〇〇及び△△が、候補Ｃ３では〇〇、△△、及び□□が、修正が必要な箇所である。

候補Ｃ１「左下葉Ｓ６／１０に３２ｍｍの充実型結節を認めます。辺縁○○ですが、分葉状の部分を認めます。」
候補Ｃ２「左下葉Ｓ６／１０に３２ｍｍの○○を認めます。辺縁△△ですが、分葉状の部分を認めます。」
候補Ｃ３「左下葉Ｓ６／１０に３２ｍｍの○○を認めます。辺縁△△ですが、□□の部分を認めます。」

読影医は、候補Ｃ１、Ｃ２、及びＣ３のうちのいずれかを選択し、修正が必要な箇所を修正することで、所見文を完成させることができる。

以上のように、第１の実施形態に係る文書作成方法によれば、入力画像から取得されたコンテンツとの過不足のない入力画像に関する第１の文書を作成することができる。したがって、読影レポートに記載すべき情報量が多い画像であっても、画像に関する高品質な文書を作成することができる。

修正すべき文章が、構造化された所見文が保存された読影レポートデータベース１８をもとに作成されていた場合は、構造化された所見文と実際に作成された自然文の所見文を使用して修正してもよい。

一方、修正すべき文章が、読影レポートデータベース１８の導入前に作成されたもので、読影レポートデータベース１８に保存されていない場合は、単語・類義語単位で修正すべき文章を探して不一致点を抽出し、不一致点をディスプレイ２０Ｂに表示させてもよい。

＜第２の実施形態＞
図７は、学習済みモデルによるＣＡＤ処理において分析される肺結節の性状（「コンテンツ」の一例）の一例を示す図である。図７に示すように、性状として、「吸収値」、「境界」、「形状」、「辺縁性状」、「内部性状」、及び「周辺組織との関係」の６つの項目を有している。

「吸収値」は、「充実型」、「部分充実型」、及び「スリガラス型」のいずれかに分類される。

「境界」は、「明瞭」、「やや明瞭」、「どちらともいえない」、「やや不明瞭」、及び「明瞭」のいずれかに分類される。

「形状」は、「類円形」、及び「不整形」のいずれかに分類される。

「辺縁性状」は、「平滑性」、「分葉状」、「鋸歯状」、「スピキュラ」、及び「直線性」のそれぞれについて分析される。なお、「スピキュラ」については、「全周性」、及び「一部に存在」についても分析される。

「内部性状」は、「気管支透亮像」、「石灰化」、「空洞」、及び「脂肪」のそれぞれについて分析される。なお、「石灰化」については、大きさ、位置、及び集簇性についても分析され、「空洞」については、鏡面像性、厚み、平滑度についても分析される。

「周辺組織との関係」は、「胸膜接触」、「胸膜陥入」、「胸膜肥厚」、「血管／気管支の圧排」、及び「血管／気管支の収束」について分析される。なお、「胸膜接触」を有する場合、「広範」、及び「一部のみ」のいずれかに分類される。

図８は、ある病変に対する性状分析結果とその所見文を示す図である。図８に示すＦ８Ａは、性状分析結果を太字で示している。Ｆ８Ａに示すように、「吸収値」は「充実型」、「境界」は「明瞭」、「形状」は「類円形」である。

また、「辺縁性状」は、「やや不整」、「分葉状－」、「鋸歯状－」、「スピキュラ＋」かつ「一部に存在」、及び「直線状－」である。「内部性状」は、「気管支透亮像－」、「石灰化－」、「空洞＋」かつ「鏡面像－」「どちらともいえない（厚み）」、及び「不整」であり、「脂肪－」である。さらに、「周辺組織との関係」は、「胸膜接触－」、「胸膜陥入＋」、「胸膜肥厚－」、「どちらともいえない（圧排）」、及び「どちらともいえない（収束）」である。

図８に示すＦ８Ｂは、Ｆ８Ａに示した性状分析結果に対して読影医が作成すべき所見文ＦＳ３である。所見文ＦＳ３は、以下のように記載されている。「右肺Ｓ１に長径３．２ｃｍの結節を認めます。境界明瞭で充実型です。辺縁はやや不整で一部にスピキュラを認めます。内部に辺縁不整の空洞を認めます。石灰化・気管支透亮像は認めません。胸膜陥入を認めます。」

このように、所見文ＦＳ３は、Ｆ８Ａに示した性状分析の全ての結果に対して記載されているわけではない。図８に示すＦ８Ｃは、Ｆ８Ａに示した性状分析結果のうち、所見文に記載すべき性状を太字で示している。

Ｆ８Ｃに示すように、所見文に記載すべき性状は、「吸収値」の「充実型」、「境界」の「明瞭」、「形状」の「類円形」を含む。また、所見文に記載すべき性状は、「辺縁性状」の「やや不整」、「スピキュラ＋」及び「一部に存在」、「内部性状」の「石灰化－」、「空洞＋」及び「不整」、「周辺組織との関係」の「胸膜陥入＋」を含む。

所見文に記載する性状は、学習済みモデルを使用して決定してもよいし、ルールベースで優先度を決めておいてもよいし、過去の統計から判別させてもよい。

このように、文書作成装置１６は、性状分析結果の情報のうち、所見文に記載する性状を全て用い、かつ、所見文から不要な情報を削除することで、性状分析結果との過不足のない所見文を作成する。

図９は、読影レポートデータベース１８に保存された過去の読影レポートの所見文、及びその構造化結果の一例である。図９に示すＦ９Ａは所見文ＦＳ４であり、図９に示すＦ９Ｂは所見文ＦＳ４の構造化結果である。所見文ＦＳ４は、「右肺のＳ１に３．２ｃｍの結節を認めます。境界明瞭で充実型です。辺縁はやや不整で全周にスピキュラを認めます。内部に辺縁不整の空洞を認めます。石灰化・気管支透亮像は認めません。胸膜陥入を認めます。」と記載されている。

また、図１０は、読影レポートデータベース１８に保存された過去の読影レポートの所見文、及びその構造化結果の一例である。図１０に示すＦ１０Ａは所見文ＦＳ５であり、図１０に示すＦ１０Ｂは所見文ＦＳ５の構造化結果である。所見文ＦＳ５は、「左肺Ｓ８に長径２ｃｍの充実型結節を認めます。境界はやや不明瞭です。辺縁はやや不整で一部にスピキュラを認めます。」と記載されている。

所見文ＦＳ３として記載したい性状を、所見文ＦＳ４及び所見文ＦＳ５で比較すると、所見文ＦＳ４とかなり類似していることがわかる。所見文ＦＳ４では、「スピキュラ」が「全周」と記載されているため、「スピキュラ」が「一部に存在」していることを記載している所見文を見つける必要があり、所見文ＦＳ５がこれに該当する。

したがって、所見文ＦＳ４をベースにして、「スピキュラ」の文のみを修正すれば、すなわち所見文ＦＳ５を使用して書き換えれば、記載したい性状を全て記載することができる。

このように、ベースとする所見文を複数特定し、特定した複数の所見文（「複数のベース文章」の一例）を組み合わせることで修正してもよい。１つ目のベースとなる所見文で不足するコンテンツを含む所見文を２つ目のベースとなる所見文として特定してもよい。１つ目の所見文の過剰な部分を削除し、不足する部分を２つ目の所見文から抽出することで、所望の所見文を生成することができる。

この例では、一部の文章を修正する例を記載しているが、削除の場合は、不要な文章を削除するだけでよい。追記する場合は、どの位置に追記するかが重要となる。追記する場所は、追記する内容が、どのカテゴリ（吸収値、境界、形状、辺縁性状、内部性状、周辺組織との関係）であるかに基づいて決定してもよい。例えば、「胸膜陥入」の事例であれば、「周辺組織との関係」は最後に記載するのが慣例であるため、所見文の最後の位置に追記すればよい。

＜その他＞
本実施形態に係る文書作成は、医用文書、及び医用画像に関連する文書以外にも適用可能である。例えば、交通、電気、ガス、及び水道等の社会的インフラ設備の診断文書を作成する際に、入力画像を解析してコンテンツを取得し、複数の文書が保存されたデータベースからコンテンツの少なくとも一部を含むベース文章を特定し、ベース文章の少なくとも一部を修正して、入力画像に関する診断文書であって、コンテンツとの過不足のない診断文書を作成することができる。

本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。

１０…文書作成システム
１２…医用画像検査機器
１４…医用画像データベース
１６…文書作成装置
１６Ａ…プロセッサ
１６Ｂ…メモリ
１６Ｃ…通信インターフェース
１８…読影レポートデータベース
２０…ユーザ端末
２０Ａ…入力装置
２０Ｂ…複数ディスプレイ
２０Ｂ…ディスプレイ
２２…ネットワーク
ＦＳ１…所見文
ＦＳ２…所見文
ＦＳ３…所見文
ＦＳ４…所見文
ＦＳ５…所見文
Ｉ１…読影対象画像
Ｉ２…読影対象画像
Ｌ１…病変領域
Ｌ２…病変領域
ＳＴ１～ＳＴ７…文書作成方法のステップ

Claims (17)

1. 少なくとも１つのプロセッサと、
   前記少なくとも１つのプロセッサに実行させるための命令を記憶する少なくとも１つのメモリと、
   を備え、
   前記少なくとも１つのプロセッサは、
   入力画像を解析してコンテンツを取得し、
   複数の文書が保存されたデータベースから前記コンテンツの少なくとも一部を含むベース文章を特定し、
   前記ベース文章の少なくとも一部を修正して、前記入力画像に関する第１の文書であって、前記コンテンツとの過不足のない第１の文書を作成し、
   前記ベース文章の修正範囲を、前記ベース文章のうち前記コンテンツに対する過不足に基づいて決定する、
   文書作成装置。
2. 前記少なくとも１つのプロセッサは、
   複数の前記ベース文章を特定し、
   前記複数のベース文章を組み合わせて修正する、
   請求項１に記載の文書作成装置。
3. 前記少なくとも１つのプロセッサは、
   前記ベース文章の修正範囲を、文単位で決定する、
   請求項１又は２に記載の文書作成装置。
4. 前記データベースには、前記複数の文書に含まれる文章が構造化されて保存されている、
   請求項１から３のいずれか１項に記載の文書作成装置。
5. 前記入力画像は、第１の被検体が撮影された医用画像であり、
   前記第１の文書は、読影レポートである、
   請求項１から４のいずれか１項に記載の文書作成装置。
6. 前記複数の文書は、前記第１の被検体とは異なる第２の被検体が撮影された医用画像に対する読影レポートを含む、
   請求項５に記載の文書作成装置。
7. 前記コンテンツは、病変に関する解剖学的場所、性状、サイズ、及び事実性のうちの少なくとも１つを含む、
   請求項５又は６に記載の文書作成装置。
8. 前記少なくとも１つのプロセッサは、
   前記入力画像の臓器認識結果、及び病変認識結果の少なくとも一方を利用して前記ベース文章を特定する、
   請求項５から７のいずれか１項に記載の文書作成装置。
9. 前記修正は、追記、変更、及び削除のうちの少なくとも１つを含む、
   請求項１から８のいずれか１項に記載の文書作成装置。
10. 前記少なくとも１つのプロセッサは、
    予め用意されたテンプレート、及び学習済みモデルの少なくとも一方を使用して追記、及び変更のうちの少なくとも一方を行う、
    請求項９に記載の文書作成装置。
11. 前記少なくとも１つのプロセッサは、
    前記コンテンツの種類に基づいて追記する位置を前記ベース文章の修正範囲として決定する、
    請求項９又は１０に記載の文書作成装置。
12. 前記少なくとも１つのプロセッサは、
    前記ベース文章の修正範囲を前記修正範囲以外の範囲と区別してディスプレイに表示させる、
    請求項１から１１のいずれか１項に記載の文書作成装置。
13. 前記少なくとも１つのプロセッサは、
    前記入力画像の関心領域をユーザに指定させ、
    前記関心領域に基づいた前記コンテンツを取得する、
    請求項１から１２のいずれか１項に記載の文書作成装置。
14. 前記少なくとも１つのプロセッサは、
    前記コンテンツと、前記複数の文書との一致度を算出し、
    前記一致度に基づいて前記ベース文章を特定する、
    請求項１から１３のいずれか１項に記載の文書作成装置。
15. 前記プロセッサは、前記取得したコンテンツの情報を全て用い、かつ、前記ベース文章から不要な情報を削除することで前記コンテンツとの過不足のない前記第１の文書を作成する、
    請求項１から１４のいずれか１項に記載の文書作成装置。
16. 少なくとも１つのプロセッサが、
    入力画像を取得する取得工程と、
    前記入力画像を解析してコンテンツを取得する解析工程と、
    複数の文書が保存されたデータベースから前記コンテンツの少なくとも一部を含むベース文章を特定する特定工程と、
    前記ベース文章の少なくとも一部を修正して、前記入力画像に関する第１の文書であって、前記コンテンツとの過不足のない第１の文書を作成する作成工程と、
    を実行し、
    前記作成工程は、前記ベース文章の修正範囲を、前記ベース文章のうち前記コンテンツに対する過不足に基づいて決定する、
    文書作成方法。
17. 請求項１６に記載の文書作成方法をコンピュータに実行させるプログラム。