JP7699105B2 - Information processing method, program, and information processing system - Google Patents
Information processing method, program, and information processing system Download PDFInfo
- Publication number
- JP7699105B2 JP7699105B2 JP2022511724A JP2022511724A JP7699105B2 JP 7699105 B2 JP7699105 B2 JP 7699105B2 JP 2022511724 A JP2022511724 A JP 2022511724A JP 2022511724 A JP2022511724 A JP 2022511724A JP 7699105 B2 JP7699105 B2 JP 7699105B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- information processing
- time
- patient
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
- G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Public Health (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
Description
本発明は、情報処理方法、プログラムおよび情報処理システムに関する。 The present invention relates to an information processing method, a program and an information processing system.
カテーテル治療は、医師、看護師、臨床検査技師、臨床工学技師および放射線技師等の様々な職種のスタッフの協力により実施される。治療の進捗状況および今後の見通しに関する情報をリアルタイムで共有することにより、それぞれのスタッフが効率よく職責を果たせる。これにより、治療をスムーズに進められる。Catheterization treatment is carried out with the cooperation of staff from a variety of professions, including doctors, nurses, clinical laboratory technicians, clinical engineers, and radiologists. By sharing information on the progress of treatment and future prospects in real time, each staff member can carry out their responsibilities efficiently. This allows treatment to proceed smoothly.
手術室内に設置された複数の機械それぞれの活殺状態に基づいて、手術の終了時刻が予定よりも遅くなることを手術室外のスタッフ等に告知する装置が提案されている（特許文献１）。A device has been proposed that notifies staff outside an operating room that the end of surgery will be later than scheduled, based on the life/death status of each of multiple machines installed in the operating room (Patent Document 1).
しかしながら、特許文献１の装置では、治療に参加しているスタッフ同士の情報共有に関する支援は行えない。However, the device in
情報処理方法は、カテーテル治療を受ける患者に関する患者情報を取得し、前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得し、取得した前記患者情報と、取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させ、前記アクションが画像を取得するアクションである場合、画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを表示させる処理をコンピュータに実行させる。 The information processing method has a computer execute a process of acquiring patient information about a patient undergoing catheter treatment, sequentially acquiring actions related to the catheter treatment on the patient in association with the time at which the actions were performed, displaying the acquired patient information and time series information in which the acquired actions are arranged in chronological order on a first display device , and, if the action is an action of acquiring an image, inputting the acquired image to a first model that outputs a converted image obtained by converting the image when an image is input, acquiring the converted image output from the first model or a reduced converted image obtained by reducing the converted image, and displaying, in the time series information, a reduced image obtained by reducing the image in association with the time at which the image was acquired, and the converted image or the reduced converted image .
治療に参加しているスタッフ同士の情報共有を支援する情報処理方法等を提供できる。 We can provide information processing methods that support information sharing among staff participating in treatment.
［実施の形態１］
図１は、情報処理システム１０の構成を説明する説明図である。本実施の形態の情報処理システム１０は、カテーテル室およびカテーテル室に隣接する操作室で使用される。カテーテル室と操作室との間には、図示を省略するドアおよび窓が設けられている。なお、図１は情報処理システム１０を模式的に示す。各構成要素の配置および数は、図１に限定するものではない。なお、カテーテル室は、情報処理システム１０が使用される場所の例示である。情報処理システム１０は、手術室等で使用されてもよい。
[First embodiment]
FIG. 1 is an explanatory diagram for explaining the configuration of an
情報処理システム１０は、情報処理装置２０、端末装置３０、表示装置１２、カテーテル制御装置１３、マイク１７、カメラ１１、ベッドサイドモニタ１６、バーコードリーダ１５、画像診断装置１４および電子カルテシステム１９を含む。それぞれの装置等はＨＩＳ（Hospital Information System）等のネットワークを介して、有線または無線により接続されている。一部の装置同士は、ネットワークを介さずに直接接続されていてもよい。The
情報処理装置２０および電子カルテシステム１９は、カテーテル室および操作室の外に配置されていてもよい。各構成要素は、必要に応じてカテーテル室に搬入され、カテーテル室から搬出されてもよい。The
本実施の形態の情報処理システム１０は、カテーテル室で実施されるカテーテル治療を支援するシステムである。カテーテル治療を受ける患者は、検査台１８の上に横臥する。The
端末装置３０は、主に不潔域を担当するスタッフまたは見学者がカテーテル室内等で使用する装置である。端末装置３０は、情報処理装置２０と協働して本実施の形態のプログラムを実行する。情報処理装置２０および端末装置３０の詳細については後述する。端末装置３０は第１表示装置の例示である。The
表示装置１２は、たとえば大型の液晶表示装置または有機ＥＬ（Electro Luminescence）表示装置等の大型表示装置である。カテーテル室内には、複数の表示装置１２が設置されている。表示装置１２は、たとえば３台が横一列に並んだ状態でカテーテル室の天井から吊り下げられており、カテーテル治療を担当する医師が見やすい向きに調整されている。さらに表示装置１２は、カテーテル室の壁面およびカテーテル室に隣接する操作室等にも配置されている。表示装置１２は、第２表示装置の例示である。The
たとえば血管内のカテーテル治療を行なう場合、カテーテル治療を担当する医師が見やすい状態に配置された複数の表示装置１２のうちの１台には、Ｘ線血管撮影装置により撮影された最新の画像が常時表示される。その他の表示装置１２に表示される情報については、後述する。For example, when performing intravascular catheter treatment, the latest image taken by the X-ray angiography device is always displayed on one of the
カテーテル制御装置１３には、ＭＤＵ１３１および画像診断用カテーテル１３２が接続されている。画像診断用カテーテル１３２は、管腔器官に挿入して使用される。画像診断用カテーテル１３２が挿入される管腔器官は、たとえば血管、膵管、胆管または気管支等である。画像診断用カテーテル１３２は、血管を介して心房内、心室内等、心臓の内部に挿入される場合もある。The
画像診断用カテーテル１３２は、たとえばＩＶＵＳ（Intravascular Ultrasound）用カテーテル、ＯＣＴ（Optical Coherence Tomography）用カテーテル、またはＯＦＤＩ（Optical Frequency Domain Imaging）用カテーテル等である。画像診断用カテーテル１３２は、ＩＶＵＳ用、ＯＣＴ用、およびＯＦＤＩ用のセンサのうちの２個または３個を組み合わせて搭載していてもよい。The
画像診断用カテーテル１３２を用いて、血管壁等の管腔器官壁に加えて、たとえば赤血球等の管腔器官の内部に存在する反射体、および、心外膜、心臓等の管腔器官の外側に存在する臓器を含む断層像を生成できる。Using the imaging
画像診断用カテーテル１３２は、管腔器官の内壁を光学的に観察する際に用いられる、血管用内視鏡であってもよい。The imaging
マイク１７は、音声入力を受け付ける。ベッドサイドモニタ１６は、カテーテル治療を受ける患者の心電図、血圧、心拍数、および、経皮的動脈血酸素飽和度（ＳＰＯ2：Peripheral Oxygen Saturation）等のバイタルサインを測定して、表示する装置である。ベッドサイドモニタ１６には、心電図測定用の電極等が接続されている。
The
カメラ１１は、カテーテル室内の状況を撮影する。撮影された映像は、たとえば操作室内の表示装置１２に表示される。撮影された映像は、後述するログＤＢ６５（図２参照）に記録されてもよい。カメラ１１は、ジェスチャ入力の受付に使用されてもよい。The
バーコードリーダ１５は、カテーテル治療に使用する画像診断用カテーテル１３２、ガイディングカテーテル、ガイドワイヤ、バルーンカテーテルおよびステント等の器材の梱包材に設けられたバーコードの読み取りに使用される。バーコードには、器材の品種、シリアルナンバー等に関する情報が記録されている。バーコードには、器材の詳細仕様等に関する情報にアクセス可能なＵＲＬ（Uniform Resource Locator）が記録されていてもよい。The
画像診断装置１４は、たとえばＸ線血管撮影装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、ＰＥＴ（Positron Emission Tomography）装置、または超音波診断装置である。The imaging
電子カルテシステム１９には、患者の氏名、生年月日、カテーテル治療に先立ち行なわれた各種検査のデータおよび病歴に関する情報等が、患者に固有に付与された患者ＩＤ（Identifier）に関連づけて記録されている。電子カルテシステム１９には、本実施の形態の情報処理システム１０を用いて実施したカテーテル治療に関する情報が記録される。The electronic
以下の説明では、カテーテル制御装置１３により撮影された画像と、画像診断装置１４により撮影された画像とを包括して、医用画像と記載する場合がある。
In the following description, images taken by the
図２は、情報処理装置２０の構成を説明する説明図である。情報処理装置２０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４およびバスを備える。制御部２１は、本実施の形態のプログラムを実行する演算制御装置である。制御部２１には、一または複数のＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＴＰＵ（Tensor Processing Unit）またはマルチコアＣＰＵ等が使用される。制御部２１は、バスを介して情報処理装置２０を構成するハードウェア各部と接続されている。
Figure 2 is an explanatory diagram explaining the configuration of the
主記憶装置２２は、ＳＲＡＭ（Static Random Access Memory）、ＤＲＡＭ（Dynamic Random Access Memory）、フラッシュメモリ等の記憶装置である。主記憶装置２２には、制御部２１が行なう処理の途中で必要な情報および制御部２１で実行中のプログラムが一時的に保存される。The
補助記憶装置２３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置２３には、制御部２１に実行させるプログラム、ログＤＢ（Database）６５、待機デバイスＤＢ６６、薬剤累積量ＤＢ６７およびプログラムの実行に必要な各種データが保存される。ログＤＢ６５、待機デバイスＤＢ６６および薬剤累積量ＤＢ６７は、情報処理装置２０に接続された外部の大容量記憶装置等に保存されていても良い。通信部２４は、情報処理装置２０とネットワークとの間の通信を行なうインターフェイスである。The
情報処理装置２０は、汎用のパソコン、タブレット、大型計算機、または、大型計算機上で動作する仮想マシンである。情報処理装置２０は、分散処理を行なう複数のパソコン、または大型計算機等のハードウェアにより構成されても良い。情報処理装置２０は、クラウドコンピューティングシステムまたは量子コンピュータにより構成されても良い。The
図３は、端末装置３０の構成を説明する説明図である。端末装置３０は、制御部３１、主記憶装置３２、補助記憶装置３３、通信部３４、タッチパネル３５およびバスを備える。タッチパネル３５は、液晶パネルまたは有機ＥＬパネル等の表示部３５１と、表示部３５１の表面に積層された入力部３５２とを含む。
Figure 3 is an explanatory diagram explaining the configuration of the
端末装置３０の制御部３１は、情報処理装置２０の制御部２１と協働して本実施の形態のプログラムを実行する演算制御装置である。制御部３１には、一または複数のＣＰＵ、ＧＰＵまたはマルチコアＣＰＵ等が使用される。制御部３１は、バスを介して端末装置３０を構成するハードウェア各部と接続されている。The
主記憶装置３２は、ＳＲＡＭ、ＤＲＡＭ、フラッシュメモリ等の記憶装置である。主記憶装置３２には、制御部３１が行なう処理の途中で必要な情報および制御部３１で実行中のプログラムが一時的に保存される。The
補助記憶装置３３は、ＳＲＡＭ、フラッシュメモリ、ハードディスクまたは磁気テープ等の記憶装置である。補助記憶装置３３には、制御部３１に実行させるプログラム、およびプログラムの実行に必要な各種データが保存される。通信部３４は、端末装置３０とネットワークとの間の通信を行なうインターフェイスである。The
端末装置３０は、タブレット、スマートフォンまたはタブレット等の汎用の情報機器である。端末装置３０は、本実施の形態の情報処理システム１０専用の情報機器であってもよい。端末装置３０は、看護師等のスタッフが個々に携帯しても、壁等に設置されていてもよい。The
図４は、ログＤＢ６５のレコードレイアウトを説明する説明図である。ログＤＢ６５は、患者ＩＤと、カテーテル治療を行なった日付と、カテーテル治療の経過とを関連づけた、カテーテル治療ログを記録するＤＢである。ログＤＢ６５は、患者ＩＤフィールド、日付フィールドおよび経過フィールドを有する。経過フィールドは、時刻フィールド、アクションフィールド、ファイルフィールド、患者状態フィールド、バイタルフィールドおよび戦略フィールドを有する。
Figure 4 is an explanatory diagram explaining the record layout of
患者ＩＤフィールドには、患者ＩＤが記録されている。日付フィールドには、カテーテル治療を行なった日付が記録されている。時刻フィールドには時刻が記録されている。アクションフィールドには、カテーテル治療中に行なわれたアクションが記録されている。 The patient ID field records the patient ID. The date field records the date the catheterization procedure was performed. The time field records the time. The action field records the action performed during the catheterization procedure.
ファイルフィールドには、カテーテル制御装置１３または画像診断装置１４から取得した画像、マイク１７から取得し音声メモ等のファイルが記録されている。ファイルフィールドには、これらのファイルへのリンクが記録され、ファイル自体は図示を省略するファイルサーバ等に記録されていてもよい。ファイルフィールドには、カテーテル制御装置１３または画像診断装置１４から取得した動画が記録されていてもよい。
In the file field, files such as images acquired from the
患者状態フィールドには、患者状態が「Ａ」、「Ｂ」等の符号で記録されている。患者状態の詳細については後述する。バイタルフィールドには、医師がバイタルを確認した際のバイタルが記録されている。なお、バイタルフィールドの記録とは別に、各種バイタルのログデータがベッドサイドモニタ１６により記録されている。
In the patient condition field, the patient's condition is recorded with a code such as "A" or "B". Details of the patient's condition will be described later. In the vitals field, vital signs as checked by the doctor are recorded. In addition to the records in the vitals field, log data of various vital signs is recorded by the
戦略フィールドには、カテーテル治療中に立案された治療戦略に関するファイルが記録されている。治療戦略の詳細については、後述する。アクションフィールド、各フィールドの空欄は、対応する情報がログＤＢ６５に記録されていないことを示す。
The strategy field records files related to the treatment strategy devised during catheter treatment. Details of the treatment strategy will be described later. The action field and any blank spaces in each field indicate that the corresponding information is not recorded in the
たとえば、１０時５分には、「ヘパリンＸＸＸＸユニット」を患者に投与したアクションが記録されている。投与時の患者状態およびバイタルが記録されているが、ファイルおよび戦略は記録されていない。１０時３５分には患者状態が記録されており、アクション等は記録されていない。ログＤＢ６５へのデータ記録方法の詳細については、後述する。
For example, at 10:05, the action of administering "XXXX units of Heparin" to a patient is recorded. The patient's condition and vitals at the time of administration are recorded, but no files or strategies are recorded. At 10:35, the patient's condition is recorded, but no actions are recorded. Details of how data is recorded in the
図５は、待機デバイスＤＢ６６のレコードレイアウトを説明する説明図である。待機デバイスＤＢ６６は、カテーテル室で使用する器材と使用回数とを関連づけて記録するＤＢである。待機デバイスＤＢ６６は、器材情報フィールドおよび使用回数フィールドを有する。器材情報フィールドは、品種フィールドおよび種類フィールドを有する。
Figure 5 is an explanatory diagram explaining the record layout of the
品種フィールドには、それぞれの器材の品種が記録されている。種類フィールドには器材の種類が記録されている。たとえば、「ＧＷ」はガイドワイヤ（Guide Wire)を、「ＢＤＣ」はバルーンダイラテーションカテーテル（Balloon dilatation catheter）を、ＩＶＵＳはＩＶＵＳ用カテーテルをそれぞれ示す。The product type field records the product type of each piece of equipment. The type field records the type of equipment. For example, "GW" stands for guide wire, "BDC" stands for balloon dilatation catheter, and IVUS stands for IVUS catheter.
器材の品種は、器材の外径、長さ等の仕様に関する情報を含む場合がある。たとえば「ＢＤＣ」のレコードに記録されている「＊＊＊＊＊３．０ｍｍ×１０ｍｍ」は、拡張時の直径が３．０ｍｍ、長さが１０ｍｍのバルーンであることを示す。使用回数フィールドには、本手術中において器材を体内に挿入した回数が記録されている。 The type of equipment may include information about the equipment's specifications, such as outer diameter and length. For example, "***3.0mm x 10mm" recorded in a "BDC" record indicates that the balloon has a diameter of 3.0mm and a length of 10mm when expanded. The number of uses field records the number of times the equipment was inserted into the body during this surgery.
器材情報フィールドへのデータ記録方法の概要を説明する。カテーテル治療に使用する器材がカテーテル室に搬入される。スタッフがバーコードリーダ１５を操作して、それぞれの器材の梱包材に取り付けられたバーコードを読み取る。前述のとおり、バーコードには器材の品種等の情報が記録されている。バーコードリーダ１５は、ネットワークを介して情報処理装置２０に読み取った情報を送信する。
The following is an overview of how data is recorded in the equipment information field. Equipment to be used for catheter treatment is brought into the catheterization room. Staff operates the
制御部２１は、待機デバイスＤＢ６６に新規レコードを作成する。制御部２１は、バーコードリーダ１５が読み取ったバーコードに記録されている品種に基づいて、器材の種類を判定する。制御部２１は、品種を器材メーカのＷＥＢサイト等に送信して、器材の種類を受信してもよい。制御部２１は、品種フィールドに器材の品種を、種類フィールドに器材の種類をそれぞれ記録する。制御部２１は、使用回数フィールドを初期値「０」に設定する。
The
カテーテル治療中に、器材が追加で搬入された場合も、同様にして待機デバイスＤＢ６６に新規レコードが記録される。使用回数フィールドに記録された情報の更新については、後述する。If additional equipment is brought in during catheter treatment, a new record is similarly recorded in the
図６は、薬剤累積量ＤＢ６７のレコードレイアウトを説明する説明図である。薬剤累積量ＤＢ６７は、薬剤の名称と、累積投与量とを関連づけて記録するＤＢである。薬剤累積量ＤＢ６７は、薬剤フィールドおよび投与量フィールドを有する。薬剤フィールドには薬剤の名称が記録されている。投与量フィールドには、薬剤の累積投与量が記録されている。投与量フィールドの初期値は「０」である。
Figure 6 is an explanatory diagram explaining the record layout of cumulative
図７および図８は、端末装置３０が表示する画面の例である。図７は、カテーテル治療の支援を担当するスタッフが使用する端末装置３０のタッチパネル３５に表示される画面の例を示す。
Figures 7 and 8 are examples of screens displayed by the
図７に示す画面は、患者情報欄５１、時系列情報欄５２、デバイスボタン５３、投薬ボタン５４、バイタルボタン５５および患者状態入力欄５６を含む。画面の右上には、日付および現在時刻が表示されている。
The screen shown in Figure 7 includes a
患者情報欄５１には、患者の氏名、生年月日および病歴の概要等の患者情報が表示されている。ユーザがタップ操作等により患者情報欄５１を選択した場合、制御部３１は電子カルテシステム１９にアクセスしてさらに詳細な患者情報を取得し、タッチパネル３５に表示する。詳細な患者情報の項目例を表１に示す。The
表１はユーザが患者情報欄５１を選択した場合に端末装置３０の制御部３１が表示部３５に表示する患者情報の例示である。制御部３１は、カテーテル治療に先立ち撮影されたＸ線ＣＴ画像等、電子カルテシステム１９に記録されたデータをタッチパネル３５に表示してもよい。それぞれの端末装置３０を使用するユーザの職種等により、詳細情報の項目が異なるように設定されていてもよい。Table 1 is an example of patient information that the
時系列情報欄５２には、カテーテル治療に関する各種アクションとアクションの発生時刻とが時系列で表示されている。それぞれの制御部３１は、ログＤＢ６５に基づいて所定の書式で時系列情報欄５２を表示する。それぞれの制御部３１は、ログＤＢ６５に逐次アクセスして、時系列情報欄５２の表示を更新する。どの端末装置３０の時系列情報欄５２にも最新の状態が表示される。The time
たとえば、１０時５分には、ヘパリンがＸＸＸＸユニット投与されている。ヘパリン投与時に医師が患者のバイタルを確認したことが、バイタル確認マーク５２４により表示されている。ヘパリン投与時に、患者が痛み等を感じておらず良好な状態であることが、笑顔を示す患者状態マーク５２３により表示されている。
For example, at 10:05, XXXX units of heparin were administered. The vital
１０時１２分には、Ｘ線血管撮影装置を用いて冠動脈造影（ＣＡＧ：Coronary Angiography）が行なわれている。冠動脈造影により撮影された画像を縮小したサムネイル画像５２２が時系列情報欄５２内に表示されている。サムネイル画像は、縮小画像の例示である。At 10:12, a coronary angiography (CAG) is performed using an X-ray angiography device. A
同様に、１０時３０分には、ＩＶＵＳ用カテーテルにより断層像が撮影されている。撮影された断層像を縮小したサムネイル画像５２２が時系列情報欄５２内に表示されている。時系列情報欄５２の下端に、次の項目の入力を受け付ける入力欄５２６が表示されている。図７に示す画面を用いた情報処理システム１０の操作方法については後述する。Similarly, at 10:30, a tomographic image is taken using the IVUS catheter. A
図８は、端末装置３０が表示する画面の例である。図８は、操作室のスタッフが使用する端末装置３０に表示される画面の例を示す。制御部２１は、図８に示す画面を一部の表示装置１２に表示させてもよい。
Figure 8 is an example of a screen displayed by the
図８に示す画面は、患者情報欄５１、時系列情報欄５２、およびサムネイル欄５２７を含む。画面の右上には、日付および現在時刻が表示されている。サムネイル欄５２７には、画像診断装置１４またはカテーテル制御装置１３により撮影された医用画像のサムネイル画像５２２が表示されている。サムネイル欄５２７には、カテーテル治療を行なう日よりも過去に撮影された画像のサムネイルが表示されていてもよい。サムネイル欄５２７に表示されているサムネイル画像５２２は、時系列情報欄５２に表示されているサムネイル画像５２２よりも大きい。
The screen shown in FIG. 8 includes a
図９は、時系列情報欄５２の変形例である。図９においては、時系列情報欄５２の左端に時刻が表示されている。図９においては、各時刻におけるアクションが「薬剤投与」等の大項目の列と、「ヘパリン ＸＸＸＸ単位」等の小項目の列とに分けて表示されている。小項目の列にはバルーンおよびステントを拡張した際のバルーン拡張圧力またはステント拡張圧力と、拡張時間とが表示されている。
Figure 9 is a modified example of the time
１４時２９分には、バルーンダイラテーションカテーテルを用いて狭窄部を拡張するバルーン拡張が実施されている。バルーン拡張中、またはその前後に冠動脈造影血管造影により撮影された医用画像のサムネイル画像５２２により、バルーン拡張が行なわれた場所が表示されている。At 14:29, balloon dilation is performed to expand the narrowed area using a balloon dilation catheter. The location where balloon dilation was performed is displayed by
１４時３７分には、ステントの留置が実施されている。ステントの留置は、目的の場所でステントを内側から拡張されることにより実施される。ステント拡張中、またはその前後に冠動脈造影血管造影により撮影された医用画像のサムネイル画像５２２により、ステント拡張が行なわれた場所が表示されている。At 14:37, the stent is placed. The stent is placed by expanding it from the inside at the desired location. The location where the stent was expanded is displayed by
一部の端末装置３０には、図７に示す時系列情報欄５２が表示され、別の端末装置３０には図９に示す時系列情報欄５２が表示されてもよい。情報処理装置２０の制御部２１は、いずれかの端末装置３０に表示されている画面と同一の画面を、一部の表示装置１２に表示させてもよい。
Some of the
ユーザが、所定の端末装置３０に表示されたサムネイル画像５２２をタップした場合、端末装置３０の制御部３１と情報処理装置２０の制御部２１とが連携してタップ操作を受け付けたサムネイル画像５２２の元画像を表示装置１２に表示させる。ユーザは、大きな画面で画像を確認できる。When a user taps on a
どの表示装置１２に元画像を表示するかは、あらかじめ設定されている。情報処理装置２０の制御部２１または端末装置３０の制御部３１は、元画像を表示する画像診断装置１４を選択する指示をユーザから受け付けてもよい。Which
ユーザが、他の端末装置３０に表示されたサムネイル画像５２２をタップした場合、制御部３１はログＤＢ６５または電子カルテシステム１９から元画像を取得して、タッチパネル３５に表示する。たとえば学生等の見学者が、実際にカテーテル治療を行なっているスタッフの作業に影響を与えることなく、元画像を確認できる。When a user taps on a
図１０から図２０は、端末装置３０が表示する画面の例である。図１０は、デバイスボタン５３の選択を受け付けた場合に制御部３１が表示する画面の例を示す。デバイスボタン５３の隣に、器材リスト欄５３９が表示されている。
Figures 10 to 20 are examples of screens displayed by the
器材リスト欄５３９に、待機デバイスＤＢ６６に記録されている各器材に対応する、デバイスアイコン５３１が表示されている。デバイスアイコン５３１は、器材の種類および主な仕様を容易に識別できるデザインであることが望ましい。The
デバイスアイコン５３１の隣に、使用回数欄５３２が表示されている。使用回数欄５３２には、待機デバイスＤＢ６６の使用回数フィールドに記録されている使用回数が表示されている。
A
ユーザは、器材リスト欄５３９により使用準備が整っている器材と、その器材を使用した回数とを確認できる。医師が器材を選択して使用開始した場合、スタッフが選択された器材に対応するデバイスアイコン５３１を時系列情報欄５２にドラッグアンドドロップする。スタッフは、ドラッグアンドドロップ操作の代わりにダブルタップ操作等を行なってもよい。ドラッグアンドドロップ操作およびダブルタップ操作は、器材リスト欄５３９からユーザが機材を選択する選択操作の例示である。
The user can check the equipment that is ready for use and the number of times that equipment has been used in the
ユーザは、音声入力等により、器材の使用に関する追加情報を入力してもよい。情報処理装置２０の制御部２１は、入力された追加情報を選択された器材に関する情報とともにログＤＢ６５に記録する。The user may input additional information regarding the use of the equipment by voice input, etc. The
端末装置３０の制御部３１は、ドラッグアンドドロップ操作されたデバイスアイコン５３１に関する情報を情報処理装置２０に送信する。情報処理装置２０の制御部２１は、ログＤＢ６５に新規レコードを作成して、使用された器材と使用を開始した時刻とを記録する。制御部２１は、ドラッグアンドドロップ操作された器材に対応するレコードを待機デバイスＤＢ６６から抽出し、使用回数フィールドに１を加算する。The
図１１は、投薬ボタン５４の選択を受け付けた場合に端末装置３０の制御部３１が表示する画面の例を示す。投薬ボタン５４の下に、薬剤リスト欄５４９が表示されている。薬剤リスト欄５４９には、カテーテル検査で使用される薬剤と投与量との組み合わせに対応する薬剤ボタン５４１が表示される。医師が薬剤を投与した場合、スタッフは対応する薬剤ボタン５４１をタップ操作する。薬剤をポンプ等を用いて患者に投与する場合には、ポンプの種類または設定等に関する情報がログＤＢ６５に登録されてもよい。
Figure 11 shows an example of a screen displayed by the
端末装置３０の制御部３１は、タップ操作された投薬ボタン５４に関する情報を情報処理装置２０に送信する。制御部２１は、タップ操作された薬剤に対応するレコードを薬剤累積量ＤＢ６７から抽出し、投与量フィールドに投与量を加算する。制御部２１は、ログＤＢ６５に新規レコードを作成して、投与された薬剤と、投与量と、累積投与量とを記録する。The
図１２は、バイタルボタン５５の選択を受け付けた場合に端末装置３０の制御部３１が表示する画面の例を示す。バイタルボタン５５の下に、バイタルグラフ欄５５１が表示されている。バイタルグラフ欄５５１には、たとえばベッドサイドモニタ１６の画面と同様のグラフが表示されている。バイタルグラフ欄５５１は、患者のバイタル情報の例示である。
Figure 12 shows an example of a screen displayed by the
医師がバイタルの状態を確認した場合、スタッフはバイタルグラフ欄５５１をタップ操作する。制御部２１は、制御部３１を介してバイタルボタン５５のタップ操作を受け付けて、ログＤＢ６５のバイタルフィールドにバイタルを記録する。When the doctor checks the vital signs, the staff member taps the
時系列情報欄５２のバイタル確認マーク５２４は、バイタルフィールドにバイタルが記録されていることを示す。たとえば、操作室のスタッフもバイタル確認マーク５２４により医師がバイタルを確認したことを把握し、医師からの直接的な指示を待たずに患者のバイタルの状態に注目できる。The
端末装置３０の制御部３１は、バイタル確認マーク５２４の代わりにログＤＢ６５のバイタルフィールドに記録されたバイタルを時系列情報欄５２に表示してもよい。制御部２１は、バイタル確認マーク５２４の代わりにバイタルフィールドに記録されたバイタルが正常範囲内であるか、異常値であるかを識別可能なマークを表示してもよい。The
操作室にある表示装置１２または端末装置３０等に表示されたバイタル情報に手書き等で書き込まれた注目ポイントが、カテーテル室内の端末装置３０のバイタルグラフ欄５５１にも同じように表示されてもよい。執刀医が気づいていないバイタルの変化等を操作室から指摘して、注意喚起できる。操作室からの入力はタッチパネルを介して行なわれても良いし、マウスまたはキーボードを介して行なわれても良い。
Notes written by hand or the like on the vital signs information displayed on the
図１３は、変形例の画面を示す。バイタルボタン５５が選択されていない場合、画面にバイタル数値欄５５２が表示される。バイタル数値欄５５２には、ベッドサイドモニタ１６が取得したバイタルの値が常時表示されている。
Figure 13 shows a modified example screen. When the
医師がバイタルの状態を確認した場合、スタッフはバイタル数値欄５５２をタップ操作する。情報処理装置２０の制御部２１は、端末装置３０の制御部３１を介してバイタルボタン５５のタップ操作を受け付けて、ログＤＢ６５のバイタルフィールドにバイタルを記録する。When the doctor checks the vital signs, the staff member taps the vital sign
看護師等は、患者から痛みの有無等を聴取して患者状態を判断する。看護師は、患者を観察して、患者状態を判断してもよい。看護師は、患者状態入力欄５６に表示された複数の患者状態アイコンの中から適切な患者状態アイコンをタップ操作する。The nurse etc. determines the patient's condition by asking the patient whether or not they are in pain. The nurse may also determine the patient's condition by observing the patient. The nurse taps the appropriate patient condition icon from among the multiple patient condition icons displayed in the patient
情報処理装置２０の制御部２１は、端末装置３０の制御部３１を介して患者状態アイコンのタップ操作を受け付けて、ログＤＢ６５の患者状態フィールドに選択された患者状態アイコンに対応する符号を記録する。時系列情報欄５２の患者状態マーク５２３は、患者状態を示す。The
図１４は、医師またはスタッフが音声メモを入力した場合の画面を示す。１０時３４分に音声メモが入力されたことが、マイクアイコンにより表示されている。音声メモが入力された場合、制御部２１は、ログＤＢ６５に新規レコードを作成し、音声メモのデータをファイルフィールドに記録する。
Figure 14 shows the screen when a doctor or staff member inputs a voice memo. The microphone icon indicates that a voice memo was input at 10:34. When a voice memo is input, the
戦略マーク５２５について説明する。たとえば、ＩＶＵＳを使用してプルバック操作を行なった場合、カテーテル制御装置１３は縦断層像、横断層像を生成する。カテーテル制御装置１３は断層像に基づいて病変部を検出する機能、および、検出した病変に関する根拠を表示する機能を有してもよい。
We will now explain the
医師は、カテーテル制御装置１３が生成した断層像および過去に行なった検査等の情報に基づいて、治療戦略を立案する。医師は、冠動脈造影を行なったときに治療戦略を立案してもよい。立案した治療戦略と、参照した画像等のデータをまとめた戦略ファイルが、ログＤＢ６５の戦略フィールドに記録される。時系列情報欄５２中の戦略マーク５２５は、ログＤＢ６５に戦略ファイルが記録されていることを意味する。戦略ファイルは、電子カルテシステム１９に記録されてもよい。
The doctor plans a treatment strategy based on the tomographic images generated by the
ユーザが戦略マーク５２５をタップ操作した場合、タッチパネル３５または表示装置１２に戦略ファイルが表示される。ユーザは、医師の判断およびその根拠を確認して、次の作業に向けた準備を行なえる。When the user taps the
具体例を挙げて説明する。図１５は、医師が「ステント留置」を行なう旨の治療戦略を立案した場合の戦略ファイルの例を示す。カテーテル制御装置１３は、断層像に基づいて「解離」を検出するとともに、「解離」を検出した根拠をＧｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）により出力する。画像からの病変を自動的に検出する機能については、実施の形態３で説明する。
A specific example will be given. Figure 15 shows an example of a strategy file in which a doctor has drawn up a treatment strategy to perform "stent placement." The
医師は、カテーテル制御装置１３が生成した画像等に基づいて「ステント留置」を行なう旨の治療戦略を決定し、戦略ファイルに記録する。治療戦略と、医師が参照した画像とが戦略ファイルにまとめられている。The doctor determines a treatment strategy to perform "stent placement" based on the images generated by the
なお、カテーテル制御装置１３は病変を検出する機能を有さなくてもよい。医師は断層像に基づいて「解離」があることを判断するとともに、「ステント留置」を行なう方針を決定する。医師の指示に基づいて、スタッフが判断の根拠である部位にマーキングを行なう。It should be noted that the
図１６は、医師が留置するステントの寸法を決定した場合の戦略ファイルの例を示す。医師の指示に基づき、スタッフが断層像から狭窄部の長さおよび血管径を測定する。医師は、測定結果に基づいて使用するステントを選択し、戦略ファイルに記録する。 Figure 16 shows an example of a strategy file when the doctor has decided on the dimensions of the stent to be placed. Based on the doctor's instructions, staff measures the length of the stenosis and the blood vessel diameter from the tomographic images. The doctor selects the stent to be used based on the measurement results and records this in the strategy file.
図１７は、カテーテル治療が終了した後、カテーテル治療を担当した医師がログＤＢ６５に補足情報を記録する際に使用する画面の例を示す。医師は、端末装置３０またはパソコンの画面等に図１７に示す画面を表示する。患者情報欄５１および時系列情報欄５２が表示されている。図１７は、時系列情報欄５２に患者状態マーク５２３は表示されない例を示す。時系列情報欄５２に、患者状態マーク５２３が表示されてもよい。
Figure 17 shows an example of a screen used by the doctor in charge of catheter treatment when recording supplementary information in the
情報処理システム１０にログオン中のユーザの名前が、画面下部のユーザ名欄５２９に表示されている。画面の上部に、修正ボタン５７１、承認ボタン５７２および出力ボタン５７３が表示されている。
The name of the user currently logged on to the
医師は、カテーテル治療中には記録できなかった補足情報を、追加コメント欄５２８に記録する。医師は、キーボード操作または音声入力により、任意のコメントを追加コメント欄５２８に記入できる。追加コメント欄５２８は、たとえばプルダウンメニュー等により典型的なコメント文の選択を受け付けてもよい。The doctor records supplementary information that could not be recorded during catheter treatment in the
入力終了後、医師は修正ボタン５７１を選択する。追加コメント欄５２８に入力されたコメントが、ログＤＢ６５に反映される。医師が出力ボタン５７３を選択した場合、図１７に示す画面が印刷される。所定の承認者がログオンして承認ボタン５７２を選択した場合、ログＤＢ６５に記録されたデータが電子カルテシステム１９に記録される。
After completing the input, the doctor selects the Modify
図１８は、カテーテル治療が終了した後、看護師がログＤＢ６５に補足情報を記録する際に使用する画面の例を示す。図１７の承認ボタン５７２の代わりに、確認ボタン５７６が表示されている。時系列情報欄５２に、患者状態マーク５２３が表示されている。
Figure 18 shows an example of a screen used by a nurse to record supplementary information in the
看護師は、キーボード操作または音声入力により、任意のコメントを追加コメント欄５２８に記入できる。入力終了後、看護師は修正ボタン５７１を選択する。追加コメント欄５２８に入力されたコメントが、補助記憶装置２３に仮に記録される。カテーテル治療を担当した医師が確認ボタン５７６を選択した場合、追加コメント欄５２８に入力されたコメントがログＤＢ６５に反映される。
The nurse can enter any comment in the
臨床検査技師、臨床工学技士等も、それぞれの担当業務に基づいて追加コメントを入力する。以上により、各職種のスタッフによる記録を、ログＤＢ６５に集約できる。それぞれの職種のスタッフが、同じ情報を重複して入力する必要がないため、スタッフの負荷を低減可能な情報処理システム１０を提供できる。
Clinical laboratory technicians, clinical engineers, etc. also input additional comments based on their respective responsibilities. As a result, records by staff of each profession can be consolidated in the
ログＤＢ６５に記録された情報を、各職種のスタッフが確認して追加情報を記録するため、多角的な視点に基づいてカテーテル治療ログを記録可能な情報処理システム１０を提供できる。
Since staff in each profession can review the information recorded in the
図１９および図２０は、カテーテル治療ログに基づいて、カテーテル治療に関するワークフロー分析を行なう画面の例を示す。図１９に示す画面は端末装置３０またはＨＩＳに接続されたパソコン等に表示される。図１９および図２０に示す画面には、分析結果欄５７８およびコメント入力ボタン５７５が表示されている。
Figures 19 and 20 show examples of screens for performing workflow analysis related to catheter treatment based on catheter treatment logs. The screen shown in Figure 19 is displayed on the
図１９の分析結果欄５７８は、時系列図５８および凡例欄５８９を含む。時系列図５８は、左から右に時間の経過を示し、それぞれの時刻に行なった作業をハッチングで示す図である。なお、図示の都合上、一部のハッチングの種類が重複している。それぞれのハッチングで示される工程は、凡例欄５８９に文字で表示されている。
The analysis results
時系列図５８の下側に、画像診断装置１４に記録された放射線照射ログに基づいて、Ｘ線を照射した時間が表示されている。なお、ログデータに基づいて時系列図５８を作成する方法は公知であるため、説明を省略する。Below the time series diagram 58, the time when the X-rays were irradiated is displayed based on the radiation irradiation log recorded in the imaging
図１９の画面により、ユーザはどの作業にどの程度の時間を要したのかを確認できる。ユーザは、コメント入力ボタン５７５を選択することにより、コメントを入力できる。入力済のコメントが、たとえば画面の下部に表示されてもよい。
The screen of FIG. 19 allows the user to check how much time each task took. The user can enter a comment by selecting the
図２０の分析結果欄５７８は、第１時系列図５８１および第２時系列図５８２を含む。第１時系列図５８１は、実際の症例の時系列を示す。第２時系列図５８２は、同様の治療手技に関する標準手技時間の時系列を示す。標準手技時間は、たとえば過去の症例に基づいて統計的に作成されている。The
図２０の画面により、ユーザは標準手技時間と、実際の手技に要した時間とを対比できる。ユーザは、たとえば標準手技時間よりも長時間を要した作業について考察したコメントを入力できる。 The screen in Figure 20 allows the user to compare the standard procedure time with the time required for the actual procedure. The user can enter comments, for example, about tasks that took longer than the standard procedure time.
ワークフロー分析結果は、表形式、グラフ形式等、任意の形式で表示されてもよい。ログＤＢ６５に記録されたカテーテル治療ログを用いてワークフロー分析を行なうことにより、たとえば手技時間を短縮する方法を検討できる。手技時間を短縮することにより、患者の身体に対する負担を低減する情報処理システム１０を提供できる。The workflow analysis results may be displayed in any format, such as a table or graph. By performing workflow analysis using the catheter treatment logs recorded in the
図２１から図２６は、プログラムの処理の流れを説明するフローチャートである。図２１は、待機デバイスＤＢ６６に器材を記録するプログラムを示す。
Figures 21 to 26 are flow charts explaining the flow of program processing. Figure 21 shows a program for recording equipment in the
前述のとおり、カテーテル治療に使用する器材がカテーテル室に搬入される。スタッフがバーコードリーダ１５を操作して、それぞれの器材の梱包材に取り付けられたバーコードを読み取る。バーコードリーダ１５は、読み取ったバーコード情報を情報処理装置２０に送信する。その後、図２１に示すプログラムが実行される。As described above, the equipment to be used in catheter treatment is brought into the catheterization room. Staff operates the
情報処理装置２０の制御部２１は、バーコードリーダ１５から送信されたバーコード情報を受信する（ステップＳ５０１）。制御部２１は、バーコード情報に基づいて器材の品種および種類に関する器材情報を取得する（ステップＳ５０２）。器材情報は、たとえばバーコード情報に含まれている。器材情報は、バーコード情報に示されるＵＲＬにアクセスすることにより取得されてもよい。The
制御部２１は、待機デバイスＤＢ６６に新規レコードを作成する。制御部２１は、品種フィールドおよび種類フィールドにステップＳ５０２で取得した品種および種類を記録する。制御部２１は、使用回数フィールドに初期値である０を記録する。以上により、搬入された器材が待機デバイスＤＢ６６に記録される（ステップＳ５０３）。制御部２１は処理を終了する。
The
なお、待機デバイスＤＢ６６にバーコードから読み取られたシリアル番号およびバーコードが読み取られた時刻等が記録されてもよい。 In addition, the serial number read from the barcode and the time the barcode was read may be recorded in the standby device DB66.
図２２は、カテーテル制御装置１３または画像診断装置１４により医用画像が撮影された場合に起動するプログラムを示す。
Figure 22 shows a program that is launched when a medical image is captured by the
ユーザが医用画像を撮影する操作を行なった場合、カテーテル制御装置１３または画像診断装置１４は撮影された画像データ、または、画像データの保存先を示すリンク情報を情報処理装置２０に送信する。その後、図２２に示すプログラムが実行される。When a user performs an operation to capture a medical image, the
情報処理装置２０の制御部２１は、撮影された画像データを取得する（ステップＳ５１１）。制御部２１は、ステップＳ５１１で取得した画像を縮小して、サムネイル画像を作成する（ステップＳ５１２）。制御部２１は、カテーテル制御装置１３または画像診断装置１４で作成されたサムネイル画像を取得してもよい。The
制御部２１は、ログＤＢ６５に新規レコードを作成する。制御部２１は、時刻フィールドに画像が撮影された時刻を、アクションフィールドに画像を撮影した装置に関する情報を、ファイルフィールドにステップＳ５１１で取得した画像およびステップＳ５１２で作成したサムネイル画像のファイルを記録する（ステップＳ５１３）。The
画像を撮影する前後に、患者状態の入力が行なわれた場合、制御部２１は患者状態フィールドに患者状態を記録する。同様に、バイタルの確認が行なわれた場合、制御部２１はバイタルフィールドにバイタルを記録する。撮影された画像に基づいて治療戦略が立案された場合、制御部２１は治療戦略を記録したファイルを戦略フィールドに記録する。その後、制御部２１は処理を終了する。
If the patient's condition is input before or after the image is taken, the
図２３は、タッチパネル３５に表示されたサムネイル画像５２２のタップを受け付けた場合に起動するプログラムを示す。端末装置３０の制御部３１は、サムネイル画像５２２のタップを受け付けた場合に元画像を表示装置１２に表示するように設定されている端末装置３０であるか否かを判定する（ステップＳ６２１）。23 shows a program that is started when a tap is received on the
設定されていると判定した場合（ステップＳ６２１でＹＥＳ）、端末装置３０の制御部３１はタップされたサムネイル画像５２２に関する情報を情報処理装置２０に送信する（ステップＳ６２２）。サムネイル画像５２２に関する情報は、たとえばサムネイル画像が撮影された時刻である。制御部３１は処理を終了する。If it is determined that the
情報処理装置２０の制御部２１は、タップされたサムネイル画像に関する情報を受信する（ステップＳ５２１）。制御部２１はログＤＢ６５を検索して、元画像を取得する（ステップＳ５２２）。制御部２１は、所定の表示装置１２に元画像を送信する（ステップＳ５２３）。以上により、表示装置１２に元画像が表示される。The
元画像を表示装置１２に表示するように設定されていないと判定した場合（ステップＳ６２１でＮＯ）、端末装置３０の制御部３１はタップされたサムネイル画像５２２に関する情報を情報処理装置２０に送信する（ステップＳ６２３）。If it is determined that the original image is not set to be displayed on the display device 12 (NO in step S621), the
情報処理装置２０の制御部２１は、タップされたサムネイル画像に関する情報を受信する（ステップＳ５２４）。制御部２１はログＤＢ６５を検索して、元画像を取得する（ステップＳ５２５）。制御部２１は、サムネイル画像５２２に関する情報を送信した端末装置３０に元画像を送信する（ステップＳ５２６）。The
端末装置３０の制御部３１は元画像を受信する（ステップＳ６２４）。制御部３１は、タッチパネル３５に元画像を表示する（ステップＳ６２５）。制御部３１は処理を終了する。The
図２４は、ユーザによりデバイスボタン５３が選択された場合に起動するプログラムを示す。端末装置３０の制御部３１は、デバイスボタン５３が選択されたことを示す情報を情報処理装置２０に送信する（ステップＳ６３１）。情報処理装置２０の制御部２１は情報を受信する（ステップＳ５３１）。制御部２１は、待機デバイスＤＢ６６を端末装置３０に送信する（ステップＳ５３２）。
Figure 24 shows a program that is started when the
端末装置３０の制御部３１は、待機デバイスＤＢ６６を受信する（ステップＳ６３２）。制御部３１は、図１０を使用して説明したように器材リスト欄５３９を表示する（ステップＳ６３３）。制御部３１は、デバイスアイコン５３１のドラッグアンドドロップ操作等の選択操作を受け付ける（ステップＳ６３４）。制御部３１は、選択操作を受け付けた器材に関する情報を情報処理装置２０に送信する（ステップＳ６３５）。The
情報処理装置２０の制御部２１は、選択操作を受け付けた器材に関する情報を受信する（ステップＳ５３３）。制御部２１は、待機デバイスＤＢ６６を更新する（ステップＳ５３４）。具体的には、制御部２１はステップＳ５３３で受信した器材に関するレコードを待機デバイスＤＢ６６から抽出する。制御部２１は使用回数フィールドに１を加算する。The
制御部２１は、ログＤＢ６５に新規レコードを作成する（ステップＳ５３５）。制御部２１は、時刻フィールドに選択操作を受け付けた時刻を、アクションフィールドに選択操作を受け付けた器材に関する情報をそれぞれ記録する。The
制御部２１は、選択を受け付けた器材が画像診断用カテーテル１３２であるか否かを判定する（ステップＳ５３６）。画像診断用カテーテル１３２ではないと判定した場合（ステップＳ５３６でＮＯ）、制御部２１は次の入力を待つ待機状態になる。画像診断用カテーテル１３２であると判定した場合（ステップＳ５３６でＹＥＳ）、制御部２１はカテーテル制御装置１３が画像を記録したか否かを判定する（ステップＳ５３７）。The
画像を記録していないと判定した場合（ステップＳ５３７でＮＯ）、制御部２１は次の入力を待つ待機状態になる。画像を記録したと判定した場合（ステップＳ５３７でＹＥＳ）、制御部２１は画像記録のサブルーチンを起動する（ステップＳ５３８）。画像記録のサブルーチンは、図２２を使用して説明したプログラムと同様の処理を行なうプログラムである。相違点は、ステップＳ５１３において新規レコードを作成せずに、ステップＳ５３５で作成したレコードのファイルフィールドにファイルを記録する点である。If it is determined that an image has not been recorded (NO in step S537), the
端末装置３０の制御部３１は、器材リスト欄５３９の表示を終了するか否かを判定する（ステップＳ６３６）。たとえば、ユーザがダブルタップ操作等により終了を指示した場合に、制御部３１は器材リスト欄５３９の表示を終了すると判定する。The
終了しないと判定した場合（ステップＳ６３６でＮＯ）、制御部３１はステップＳ６３４に戻る。終了すると判定した場合（ステップＳ６３６でＹＥＳ）、制御部３１は器材リスト欄５３９を非表示の状態にする（ステップＳ６３７）。制御部３１は処理を終了する。If it is determined that the process is not to be terminated (NO in step S636), the
図２５は、ユーザにより投薬ボタン５４が選択された場合に起動するプログラムを示す。端末装置３０の制御部３１は、図１１を使用して説明したように薬剤リスト欄５４９を表示する（ステップＳ６４１）。制御部３１は、薬剤ボタン５４１の選択を受け付ける（ステップＳ６４２）。制御部３１は、選択を受け付けた薬剤の種類および投与量を情報処理装置２０に送信する（ステップＳ６４３）。
Figure 25 shows a program that is started when the user selects the
情報処理装置２０の制御部２１は、選択を受け付けた薬剤の種類および投与量を受信する（ステップＳ５４１）。制御部２１は、薬剤累積量ＤＢ６７を更新する（ステップＳ５４２）。具体的には、制御部２１はステップＳ５４１で受信した薬剤に関するレコードを薬剤累積量ＤＢ６７から抽出する。制御部３１は投与量フィールドにステップＳ５４１で受信した投与量を加算する。The
制御部２１は、ログＤＢ６５に新規レコードを作成する（ステップＳ５４３）。制御部２１は、時刻フィールドに選択操作を受け付けた時刻を、アクションフィールドに選択操作を受け付けた薬剤に関する情報をそれぞれ記録する。The
端末装置３０の制御部３１は、薬剤リスト欄５４９の表示を終了するか否かを判定する（ステップＳ６４４）。たとえば、ユーザがダブルタップ操作等により終了を指示した場合に、制御部３１は薬剤リスト欄５４９の表示を終了すると判定する。The
終了しないと判定した場合（ステップＳ６４４でＮＯ）、制御部３１はステップＳ６４２に戻る。終了すると判定した場合（ステップＳ６４４でＹＥＳ）、制御部３１は薬剤リスト欄５４９を非表示の状態にする（ステップＳ６４５）。制御部３１は処理を終了する。If it is determined that the process is not to be terminated (NO in step S644), the
図２６は、ユーザによりバイタルボタン５５が選択された場合に起動するプログラムを示す。端末装置３０の制御部３１は、ベッドサイドモニタ１６にバイタルデータの送信開始指示時を送信する（ステップＳ６５１）。
Figure 26 shows a program that is started when the
ベッドサイドモニタ１６は送信開始指示を受信する（ステップＳ７５１）。ベッドサイドモニタ１６は、端末装置３０へのバイタルデータの送信を開始する（ステップＳ７５２）。バイタルデータは、たとえばベッドサイドモニタ１６が表示する画面を示す画像データである。バイタルデータは、ベッドサイドモニタ１６が表示するそれぞれの項目の値を示す数値データであってもよい。ステップＳ７５２以降、ベッドサイドモニタ１６はバイタルデータを端末装置３０に逐次送信する。The bedside monitor 16 receives a transmission start instruction (step S751). The bedside monitor 16 starts transmitting vital data to the terminal device 30 (step S752). The vital data is, for example, image data showing a screen displayed by the
端末装置３０の制御部３１はバイタルデータを受信する（ステップＳ６５２）。制御部３１は、図１２を使用して説明したようにバイタルグラフ欄５５１を表示する（ステップＳ６５３）。制御部３１は、バイタルグラフ欄５５１のタップ操作等を受け付けたか否かを判定する（ステップＳ６５４）。The
受け付けたと判定した場合（ステップＳ６５４でＹＥＳ）、制御部３１はタップ操作を受け付けた際にタッチパネル３５に表示されていたバイタルを情報処理装置２０に送信する（ステップＳ６５５）。制御部２１は、バイタルを受信する（ステップＳ５５１）。If it is determined that the tap operation has been accepted (YES in step S654), the
情報処理装置２０の制御部２１は、受信したバイタルをログＤＢ６５に記録する（ステップＳ５５２）。たとえば、薬剤投与等のアクションの前後にバイタルの確認が行なわれた場合には、制御部２１は当該アクションを記録したレコードのバイタルフィールドにバイタルを記録する。他のアクションが行なわれていない場合には、制御部２１はログＤＢ６５に新規レコードを作成してバイタルを記録する。The
操作を受け付けていないと判定した場合（ステップＳ６５４でＮＯ）、またはステップＳ６５５の終了後、端末装置３０の制御部３１はバイタルグラフ欄５５１の表示を終了するか否かを判定する（ステップＳ６５６）。たとえば、ユーザがダブルタップ操作等により終了を指示した場合に、制御部３１はバイタルグラフ欄５５１の表示を終了すると判定する。If it is determined that no operation has been received (NO in step S654), or after step S655 is completed, the
終了しないと判定した場合（ステップＳ６５６でＮＯ）、制御部３１はステップＳ６５２に戻る。終了すると判定した場合（ステップＳ６５６でＹＥＳ）、制御部３１はバイタルの送信終了指示をベッドサイドモニタ１６に送信する（ステップＳ６５７）。制御部２１は、バイタルグラフ欄５５１を非表示の状態にする（ステップＳ６５８）。制御部２１は処理を終了する。If it is determined that the process is not to be terminated (NO in step S656), the
ベッドサイドモニタ１６は送信終了指示を受信する（ステップＳ７５３）。ベッドサイドモニタ１６は、端末装置３０へのバイタルデータの送信を終了する（ステップＳ７５４）。The bedside monitor 16 receives the transmission end instruction (step S753). The bedside monitor 16 ends the transmission of vital data to the terminal device 30 (step S754).
端末装置３０の制御部３１は、タッチパネル３５の代わりに、端末装置３０に内蔵されたマイク、またはマイク１７を介して音声入力による操作を受け付けてもよい。清潔操作中の医師および看護師が、端末装置３０に触れずに、自分で端末装置３０を操作できる。The
本実施の形態によると、治療に参加しているスタッフ同士の情報共有を支援する情報処理方法等を提供できる。本実施の形態によると、カテーテル治療ログを記録し、リアルタイムで共有できる情報処理システム１０を提供できる。According to this embodiment, it is possible to provide an information processing method or the like that supports information sharing among staff members participating in treatment. According to this embodiment, it is possible to provide an
本実施の形態によると、器材の使用および薬剤の投与をカテーテル治療ログに容易に記録できる情報処理システム１０を提供できる。本実施の形態によると、患者状態を容易に記録できる情報処理システム１０を提供できる。本実施の形態によると、医師等がバイタルに注目したことを容易に記録できる情報処理システム１０を提供できる。
According to this embodiment, it is possible to provide an
本実施の形態によると、図１０を使用して説明した画面により、使用準備が整っている器材と、使用済の回数とを確認できる情報処理システム１０を提供できる。According to this embodiment, an
本実施の形態によると、カテーテル制御装置１３および画像診断装置１４等を使用して得た新たな情報に基づいて医師が判断した治療戦略を、カテーテル治療ログに記録する情報処理システム１０を提供できる。
According to this embodiment, an
本実施の形態によると、カテーテル治療に参加しているスタッフおよび見学者等が、医師が立案した治療戦略および撮影済の画像等をリアルタイムで閲覧できる情報処理システム１０を提供できる。
According to this embodiment, an
本実施の形態によると、カテーテル治療の終了後に、それぞれの職種のスタッフがカテーテル治療ログにコメント等を追記できる情報処理システム１０を提供できる。本実施の形態によると、ワークフロー解析に活用できるカテーテル治療ログを自動的に記録する情報処理システム１０を提供できる。According to this embodiment, it is possible to provide an
［実施の形態２］
本実施の形態は、元画像に基づいて生成したオブジェクト配置像のサムネイル画像５２２を表示する情報処理システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
[Embodiment 2]
This embodiment relates to an
図２７は、実施の形態２の端末装置３０が表示する画面の例である。図２７に示す画面は、図７を使用して説明した画面の代わりに表示される画面である。１０時３０分にＩＶＵＳにより撮影された画像のサムネイル画像５２２と、戦略マーク５２５との間に、オブジェクト配置像のサムネイル画像５２２が表示されている。
Figure 27 is an example of a screen displayed by the
図２８は、第１モデル６１の構成を説明する説明図である。第１モデル６１は、元画像を受け付けて元画像に含まれる複数のオブジェクトの種類と、それぞれのオブジェクトの範囲とを関連づけてマッピングしたオブジェクト配置像を出力するモデルである。第１モデル６１は、機械学習により生成されている。オブジェクト配置像は、元画像を変換した変換画像の例示である。オブジェクト配置像のサムネイルは、変換画像を縮小した縮小変換画像の例示である。
Figure 28 is an explanatory diagram explaining the configuration of the
図２８に示すオブジェクト配置像において、縦線のハッチングは、「画像診断用カテーテル１３２の断面」を、右下がりのハッチングは「管腔器官の内部」を、太い左下がりのハッチングは「心外膜」をそれぞれ示す。In the object arrangement image shown in Figure 28, the vertical hatching indicates the "cross section of the
図２８中のハッチングは、それぞれのオブジェクトを異なる色で塗り分けていることを模式的に示す。オブジェクトの塗り分けは、それぞれのオブジェクトを区別して表示する方法の一例である。それぞれのオブジェクトの外縁を囲む等の任意の態様により、他のオブジェクトと識別可能に表示してもよい。The hatching in FIG. 28 shows that each object is painted in a different color. Painting each object in a different color is one example of a method for displaying each object in a distinctive way. Each object may be displayed in any manner, such as by surrounding its outer edge, to make it distinguishable from other objects.
図２８においてはオブジェクト配置像のうち上記に列挙したオブジェクト以外の部分には、横断層像を表示している。制御部２１は、オブジェクト配置像の全面をたとえば「管腔器官壁」、「プラーク」、「石灰化」、「ガイドワイヤ」等、なんらかのオブジェクトに分類して、塗り分けて表示してもよい。In Figure 28, transverse images are displayed in the portions of the object arrangement image other than the objects listed above. The
第１モデル６１は、たとえばセマンテックセグメンテーションモデルであり、入力層と、ニューラルネットワークと、出力層とを備える。ニューラルネットワークは、セマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造を有する。Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。セマンテックセグメンテーションにより、入力された画像を構成するそれぞれの画素に対して、オブジェクトの種類を示すラベルが付与される。
The
第１モデル６１は、元画像を撮影する装置ごとに生成されている。第１モデル６１は、さらに撮影する部位ごとに生成されていてもよい。第１モデル６１は補助記憶装置２３に記録されている。第１モデル６１は情報処理システム１０に接続された大容量装置等に記録されていてもよい。
The
オブジェクト配置像は、カテーテル制御装置１３または画像診断装置１４で生成されて、元画像と共に出力されてもよい。
The object placement image may be generated by the
図２７に戻って説明を続ける。ユーザがオブジェクト配置像のサムネイル画像をタップ操作した場合、元のサイズのオブジェクト配置像が表示装置１２またはタッチパネル３５に表示される。
Returning to Figure 27 for further explanation, when the user taps on the thumbnail image of the object arrangement image, the object arrangement image in its original size is displayed on the
図２９は、実施の形態２のプログラムの処理の流れを説明するフローチャートである。図２９のプログラムは、カテーテル制御装置１３または画像診断装置１４により画像が撮影された場合に、図２２を使用して説明したプログラムの代わりに実行される。
Figure 29 is a flowchart explaining the flow of processing of the program of embodiment 2. The program of Figure 29 is executed in place of the program explained using Figure 22 when an image is captured by the
ユーザが画像を撮影する操作を行なった場合、カテーテル制御装置１３および画像診断装置１４は撮影された画像データ、または、画像データの保存先を示すリンク情報を情報処理装置２０に送信する。その後、図２９に示すプログラムが実行される。When a user performs an operation to capture an image, the
制御部２１は、撮影された画像データを取得する（ステップＳ５６１）。制御部２１は、ステップＳ５６１で取得した画像を縮小して、サムネイル画像を作成する（ステップＳ５６２）。カテーテル制御装置１３または画像診断装置１４がオブジェクト配置像を生成した場合には、ステップＳ５６２においてオブジェクト配置像のサムネイル画像も作成される。制御部２１は、カテーテル制御装置１３または画像診断装置１４で作成されたサムネイル画像を取得してもよい。The
制御部２１は、オブジェクト配置像への変換を行なうか否かを判定する（ステップＳ５６３）。具体的には、ステップＳ５６１で受信した画像データの変換に対応する第１モデル６１が存在する場合に、制御部２１は変換を行なうと判定する。The
変換を行なわないと判定した場合（ステップＳ５６３でＮＯ）、制御部２１は、ログＤＢ６５に新規レコードを作成する。制御部２１は、時刻フィールドに画像が撮影された時刻を、アクションフィールドに画像を撮影した装置に関する情報を、ファイルフィールドにステップＳ５６１で取得した画像およびステップＳ５６２で作成したサムネイル画像のファイルを記録する（ステップＳ５６４）。制御部２１は処理を終了する。If it is determined that conversion is not to be performed (NO in step S563), the
変換を行なうと判定した場合（ステップＳ５６３でＹＥＳ）、制御部２１はステップＳ５６１で受信した画像データに対応する第１モデル６１を選択する（ステップＳ５６５）。制御部２１は、ステップＳ５６１で取得した画像データをステップＳ５６５で選択した第１モデル６１に入力して、出力されるオブジェクト配置像を取得する（ステップＳ５６６）。制御部２１は、取得したオブジェクト配置像を縮小して、サムネイル画像を作成する（ステップＳ５６７）。If it is determined that conversion is to be performed (YES in step S563), the
制御部２１は、ログＤＢ６５に新規レコードを作成する。制御部２１は、時刻フィールドに画像が撮影された時刻を、アクションフィールドに画像を撮影した装置に関する情報を、ファイルフィールドにステップＳ５６１で取得した画像、ステップＳ５６２で作成したサムネイル画像、ステップＳ５６６で取得したオブジェクト配置像およびステップＳ５６７で作成したサムネイル画像のファイルを記録する（ステップＳ５６８）。制御部２１は処理を終了する。The
第１モデル６１は、元画像をオブジェクト配置像に変換するモデルに限定しない。たとえば、元画像をエッジ強調またはコントラスト変換等の任意の処理を行なった画像に変換するモデルであってもよい。The
本実施の形態によると、オブジェクト配置像を表示する情報処理システム１０を提供できる。ユーザは、オブジェクト配置像を参照することにより、カテーテル制御装置１３または画像診断装置１４により撮影された画像を容易に読影できる。According to this embodiment, an
［実施の形態３］
本実施の形態は、病変の検出および治療戦略の作成を自動的に行なう情報処理システム１０に関する。実施の形態１と共通する部分については、説明を省略する。
[Embodiment 3]
This embodiment relates to an
図３０は、第２モデル６２の構成を説明する説明図である。第２モデル６２は、医用画像の入力を受け付けて、病変の種類を出力するモデルである。第２モデル６２は、複数の医用画像の入力を受け付けて、病変の種類を出力するモデルであってもよい。複数の医用画像は、たとえば同一の装置を用いて異なるタイミングまたは異なる撮影条件で撮影された画像である。複数の医用画像は、異なる装置を用いて撮影した画像であってもよい。
Figure 30 is an explanatory diagram explaining the configuration of the
第２モデル６２は、医用画像を撮影した装置、および、医用画像が撮影された部位ごとに生成されて、補助記憶装置２３または外部の大容量記憶装置に記録されている。第２モデル６２は、たとえばＣＮＮ（Convolutional Neural Networks）またはＹＯＬＯ（You only look once）等の、画像分類アルゴリズムを用いて生成された学習モデルである。The
図３１は、第３モデル６３の構成を説明する説明図である。第３モデル６３は、カテーテル制御装置１３または画像診断装置１４により撮影された医用画像を受け付けて、治療戦略を出力するモデルである。
Figure 31 is an explanatory diagram explaining the configuration of the
第３モデル６３が出力する治療戦略は、たとえば図１５を使用して説明した「ステント留置」のような、治療手技の種類である。第３モデル６３が出力する治療戦略は、図１６を使用して説明したステントの寸法のような、治療手技に用いる器材の仕様であってもよい。The treatment strategy output by the
第３モデル６３は、医用画像を撮影した装置、医用画像が撮影された部位、治療対象の病変、および、医用画像を撮影した時期ごとに生成されて、補助記憶装置２３または外部の大容量記憶装置に記録されている。医用画像を撮影した時期は、たとえばカテーテル治療の開始直後、バルーン拡張後、ステント留置後等の、一連のカテーテル治療中の時期を示す。第３モデル６３は、たとえばＣＮＮまたはＹＯＬＯのアルゴリズムを用いて生成されたモデルである。The
第３モデル６３は、医用画像に加えて患者情報、病変部位または医用画像を撮影するまでの間に記録されたカテーテル治療ログの入力を受け付けて、治療戦略を出力するモデルであってもよい。
The
図３２は、実施の形態３のプログラムの処理の流れを説明するフローチャートである。図３２のプログラムは、医師が治療戦略の立案を指示した場合に実行される。なお、治療戦略の立案を指示する際に、医師は使用する医用画像を指定する。
Figure 32 is a flowchart explaining the processing flow of the program of
情報処理装置２０の制御部２１は、医師により指定された医用画像を撮影した装置、および、医用画像が撮影された部位に基づいて、使用する第２モデル６２を選択する（ステップＳ５７１）。制御部２１は、医師により指定された医用画像をステップＳ５７１で選択した第２モデル６２に入力して、病変の種類を取得する（ステップＳ５７２）。制御部２１は、Ｇｒａｄ－ＣＡＭ（Gradient-weighted Class Activation Mapping）のアルゴリズムにより、ステップＳ５７２で取得した病変の種類に関する根拠領域を取得する（ステップＳ５７３）。The
たとえば図１５を使用して説明した治療戦略では、左側の横断層像の下に「解離あり」が、ステップＳ５７２で取得した病変の種類であり、右側の横断層像に表示されたヒートマップがステップＳ５７２で取得した根拠領域である。For example, in the treatment strategy described using Figure 15, "Dissection present" under the transverse image on the left is the type of lesion obtained in step S572, and the heat map displayed on the transverse image on the right is the evidence area obtained in step S572.
制御部２１は、医師により指定された医用画像を撮影した装置、医用画像が撮影された部位、治療対象の病変および医用画像が撮影された時期に基づいて、使用する第３モデル６３を選択する（ステップＳ５７４）。制御部２１は、医師により指定された医用画像をステップＳ５７４で選択した第３モデルに入力して、治療戦略を取得する（ステップＳ５７５）。たとえば図１５を使用して説明した治療戦略では、下部に表示された「ステント留置」が、ステップＳ５７５で取得した治療戦略である。The
制御部２１は取得した治療戦略をログＤＢ６５に記録する（ステップＳ５７６）。制御部２１は、処理を終了する。The
本実施の形態によると、病変の種類を判定し、治療戦略を立案する情報処理システム１０を提供できる。
According to this embodiment, an
第２モデル６２は、Ｒ－ＣＮＮ（Regions withまたはＭａｓｋ Ｒ－ＣＮＮ等の物体の種類と位置との双方を検出可能なアルゴリズムを用いて生成されたモデルであってもよい。Ｇｒａｄ ＣＡＭを用いずに、第２モデル６２の出力に基づいて病変の位置を表示する情報処理システム１０を提供できる。The
第２モデル６２を使用する代わりに、制御部２１はユーザにより入力された病変の種類を受け付けてもよい。第３モデル６３を使用する代わりに、制御部２１はユーザにより入力された治療戦略を受け付けてもよい。Instead of using the
［実施の形態４］
本実施の形態は、図２８を使用して説明した第１モデルを生成する方法に関する。実施の形態２と共通する部分については、説明を省略する。
[Fourth embodiment]
This embodiment relates to a method for generating the first model described with reference to Fig. 28. Description of parts common to the second embodiment will be omitted.
図３３は、実施の形態４の訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力と正解ラベルとを関連づけて記録したデータベースであり、機械学習によるモデルの訓練に使用される。訓練ＤＢは、入力データフィールおよび出力データフィールドを有する。 Figure 33 is an explanatory diagram explaining the record layout of the training DB in embodiment 4. The training DB is a database that records inputs and correct labels in association with each other, and is used to train a model by machine learning. The training DB has an input data field and an output data field.
入力データフィールドには、医用画像が記録されている。出力データフィールドには、医用画像を医師等の専門家がそれぞれのオブジェクトごとに異なる色で塗分けた塗分け画像が記録されている。すなわち、出力データフィールドには、医用画像を構成するそれぞれの画素が対応するオブジェクトが記録されている。訓練ＤＢには、医用画像と、専門家等が塗分けた塗分け画像との組み合わせが大量に記録されている。なお訓練ＤＢは、医用画像を撮影する装置と、撮影する部位との組み合わせごとに用意されている。 The input data field contains medical images. The output data field contains painted images in which a doctor or other expert has painted each object in a different color. That is, the output data field contains objects to which each pixel in the medical image corresponds. The training DB contains a large number of combinations of medical images and painted images painted by experts or the like. A training DB is prepared for each combination of a device that captures medical images and a body part to be captured.
図３４は、実施の形態４のプログラムの処理の流れを説明するフローチャートである。情報処理装置２０を用いて第１モデル６１の機械学習を行なう場合を例にして説明する。
Figure 34 is a flowchart explaining the processing flow of the program of embodiment 4. An example will be explained in which machine learning of the
図３４のプログラムは情報処理装置２０とは別のハードウェアで実行され、機械学習が完了した第１モデル６１がネットワークを介して補助記憶装置２３に複写されてもよい。一つのハードウェアで学習させた第１モデル６１を、複数の情報処理装置２０で使用できる。
The program in FIG. 34 may be executed on hardware separate from the
図３４のプログラムの実行に先立ち、たとえばセマンテックセグメンテーションを実現するＵ－Ｎｅｔ構造等の未学習のモデルが準備されている。前述のとおり、Ｕ－Ｎｅｔ構造は、多層のエンコーダ層と、その後ろに接続された多層のデコーダ層とにより構成される。図３４のプログラムにより、準備されたモデルの各パラメータが調整されて、機械学習が行なわれる。 Prior to executing the program in Figure 34, an untrained model, such as a U-Net structure that realizes semantic segmentation, is prepared. As mentioned above, the U-Net structure is composed of multiple encoder layers followed by multiple decoder layers. The program in Figure 34 adjusts each parameter of the prepared model and performs machine learning.
情報処理装置２０の制御部２１は、訓練ＤＢから１エポックの訓練に使用する訓練レコードを取得する（ステップＳ８１１）。制御部２１は、モデルの入力層に入力データが入力された場合に、出力層層から出力データが出力されるように、モデルのパラメータを調整する（ステップＳ８１２）。The
制御部２１は、処理を終了するか否かを判定する（ステップＳ８１３）。たとえば、制御部２１は所定のエポック数の学習を終了した場合に、処理を終了すると判定する。制御部２１は、訓練ＤＢからテストデータを取得して機械学習中のモデルに入力し、所定の精度の出力が得られた場合に処理を終了すると判定してもよい。The
処理を終了しないと判定した場合（ステップＳ８１３でＮＯ）、制御部２１はステップＳ８１１に戻る。処理を終了すると判定した場合（ステップＳ８１３でＹＥＳ）、制御部２１は学習済のモデルのパラメータを補助記憶装置２３に記録する（ステップＳ８１４）。その後、制御部２１は処理を終了する。以上の処理により、学習済のモデルが生成される。If it is determined that the processing is not to be terminated (NO in step S813), the
本実施の形態によると、機械学習により第１モデル６１を生成できる。
According to this embodiment, the
［実施の形態５］
本実施の形態は、図３０を使用して説明した第２モデル６２を生成する方法に関する。実施の形態３と共通する部分については、説明を省略する。
[Embodiment 5]
This embodiment relates to a method for generating the
図３５は、実施の形態５の訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力データフィールおよび出力データフィールドを有する。 Figure 35 is an explanatory diagram illustrating the record layout of the training DB in embodiment 5. The training DB has an input data field and an output data field.
入力データフィールドには、医用画像が記録されている。出力データフィールドには、医用画像を医師等の専門家が読影して判定した病変が記録されている。訓練ＤＢには、医用画像と、専門家等が判定した病変との組み合わせが大量に記録されている。なお訓練ＤＢは、医用画像を撮影する装置と、撮影する部位との組み合わせごとに用意されている。 Medical images are recorded in the input data field. The output data field records lesions determined by doctors or other experts who interpret the medical images. The training DB records a large number of combinations of medical images and lesions determined by experts. A training DB is prepared for each combination of device that captures medical images and the body part to be captured.
本実施の形態の第２モデル６２の生成方法の概要を説明する。第２モデル６２の生成に先立ち、たとえば畳込み層とプーリング層との繰り返しと、全結合層と、ソフトマックス層とを備えるＣＮＮ構造を有する未学習のモデルが準備されている。用意されているモデルの構造が異なる他は、図３４のフローチャートを使用して説明した処理と同様の処理の流れにより、学習済の第２モデル６２が生成される。An overview of the method for generating the
本実施の形態によると、機械学習により第２モデル６２を生成できる。
According to this embodiment, the
［実施の形態６］
本実施の形態は、図３１を使用して説明した第３モデル６３を生成する方法に関する。実施の形態５と共通する部分については、説明を省略する。
Sixth Embodiment
This embodiment relates to a method for generating the
図３６は、実施の形態６の訓練ＤＢのレコードレイアウトを説明する説明図である。訓練ＤＢは、入力データフィールおよび出力データフィールドを有する。入力データフィールドには、医用画像が記録されている。出力データフィールドには、カテーテル治療の経験を十分に積んだ専門家が判定した、治療方法、または、使用する器材の仕様等の治療戦略が記録されている。訓練ＤＢには、医用画像と、治療戦略との組み合わせが大量に記録されている。なお訓練ＤＢは、医用画像を撮影した装置、医用画像が撮影された部位、治療対象の病変および医用画像が撮影された時期の組み合わせごとに用意されている。 Figure 36 is an explanatory diagram explaining the record layout of the training DB in embodiment 6. The training DB has an input data field and an output data field. Medical images are recorded in the input data field. Treatment strategies, such as treatment methods or specifications of equipment to be used, determined by experts with ample experience in catheter treatment are recorded in the output data field. The training DB records a large number of combinations of medical images and treatment strategies. A training DB is prepared for each combination of the device that captured the medical image, the part of the body where the medical image was captured, the lesion to be treated, and the time when the medical image was captured.
本実施の形態の第３モデル６３の生成方法の概要を説明する。第３モデル６３の生成に先立ち、たとえば畳込み層とプーリング層との繰り返しと、全結合層と、ソフトマックス層とを備えるＣＮＮ構造を有する未学習のモデルが準備されている。用意されているモデルの構造が異なる他は、図３４のフローチャートを使用して説明した処理と同様の処理の流れにより、学習済の第３モデル６３が生成される。An overview of the method for generating the
本実施の形態によると、機械学習により第３モデル６３を生成できる。
According to this embodiment, the
［実施の形態７］
図３７は、実施の形態７の情報処理システム１０の機能ブロック図である。情報処理システム１０は、患者情報取得部８１、アクション取得部８２および表示部８３を備える。
[Embodiment 7]
37 is a functional block diagram of the
患者情報取得部８１は、カテーテル治療を受ける患者に関する患者情報を取得する。アクション取得部８２は、患者に対するカテーテル治療に関連するアクションと、アクションが行なわれた時刻とを関連づけて逐次取得する。表示部８３は、患者情報取得部８１が取得した患者情報と、アクション取得部８２が取得したアクションを時系列に配列した時系列情報とを第１表示装置に表示させる。The patient
［実施の形態８］
図３８は、実施の形態８の情報処理装置２０の構成を説明する説明図である。本実施の形態は、汎用のコンピュータ９０と、プログラム９７とを組み合わせて動作させることにより、本実施の形態の情報処理装置２０を実現する形態に関する。実施の形態１と共通する部分については、説明を省略する。
[Embodiment 8]
38 is an explanatory diagram for explaining the configuration of an
コンピュータ９０は、制御部２１、主記憶装置２２、補助記憶装置２３、通信部２４、読取部２９およびバスを備える。コンピュータ９０は、汎用のパーソナルコンピュータ、タブレット、スマートフォンまたはサーバコンピュータ等の情報機器である。The
プログラム９７は、可搬型記録媒体９６に記録されている。制御部２１は、読取部２９を介してプログラム９７を読み込み、補助記憶装置２３に保存する。また制御部２１は、コンピュータ９０内に実装されたフラッシュメモリ等の半導体メモリ９８に記憶されたプログラム９７を読出してもよい。さらに、制御部２１は、通信部２４および図示しないネットワークを介して接続される図示しない他のサーバコンピュータからプログラム９７をダウンロードして補助記憶装置２３に保存してもよい。
The
プログラム９７のうち、コンピュータ９０で実行される部分は、コンピュータ９０の制御プログラムとしてインストールされ、主記憶装置２２にロードして実行される。これにより、コンピュータ９０は上述した情報処理装置２０として機能する。プログラム９７のうち端末装置３０で実行される部分は、ネットワークを介して送信されて端末装置３０の制御プログラムとしてインストールされる。これにより、端末装置３０は情報処理装置２０と協働して上述した機能を果たす。
The portion of
コンピュータ９０は、汎用のパソコン、タブレット、スマートフォン、大型計算機、大型計算機上で動作する仮想マシン、クラウドコンピューティングシステム、または、量子コンピュータである。コンピュータ９０は、分散処理を行なう複数のパソコン等であってもよい。
The
各実施例で記載されている技術的特徴（構成要件）はお互いに組合せ可能であり、組み合わせすることにより、新しい技術的特徴を形成することができる。
今回開示された実施の形態はすべての点で例示であって、制限的なものでは無いと考えられるべきである。本発明の範囲は、上記した意味では無く、請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
The technical features (constituent elements) described in each embodiment can be combined with each other, and by combining them, new technical features can be formed.
The embodiments disclosed herein are illustrative in all respects and should not be considered as limiting. The scope of the present invention is defined by the claims, not by the above meaning, and is intended to include all modifications within the scope and meaning equivalent to the claims.
１０ 情報処理システム
１１ カメラ
１２ 表示装置
１３ カテーテル制御装置
１３１ ＭＤＵ
１３２ 画像診断用カテーテル
１４ 画像診断装置
１５ バーコードリーダ
１６ ベッドサイドモニタ
１７ マイク
１８ 検査台
１９ 電子カルテシステム
２０ 情報処理装置
２１ 制御部
２２ 主記憶装置
２３ 補助記憶装置
２４ 通信部
２９ 読取部
３０ 端末装置
３１ 制御部
３２ 主記憶装置
３３ 補助記憶装置
３４ 通信部
３５ タッチパネル
３５１ 表示部
３５２ 入力部
５１ 患者情報欄
５２ 時系列情報欄
５２２ サムネイル画像
５２３ 患者状態マーク
５２４ バイタル確認マーク
５２５ 戦略マーク
５２６ 入力欄
５２７ サムネイル欄
５２８ 追加コメント欄
５２９ ユーザ名欄
５３ デバイスボタン
５３１ デバイスアイコン
５３２ 使用回数欄
５３９ 器材リスト欄
５４ 投薬ボタン
５４１ 薬剤ボタン
５４９ 薬剤リスト欄
５５ バイタルボタン
５５１ バイタルグラフ欄
５５２ バイタル数値欄
５６ 患者状態入力欄
５７１ 修正ボタン
５７２ 承認ボタン
５７３ 出力ボタン
５７５ コメント入力ボタン
５７６ 確認ボタン
５７８ 分析結果欄
５８ 時系列図
５８１ 第１時系列図
５８２ 第２時系列図
５８９ 凡例欄
６１ 第１モデル
６２ 第２モデル
６３ 第３モデル
６５ ログＤＢ
６６ 待機デバイスＤＢ
６７ 薬剤累積量ＤＢ
８１ 患者情報取得部
８２ アクション取得部
８３ 表示部
９０ コンピュータ
９６ 可搬型記録媒体
９７ プログラム
９８ 半導体メモリ
10
132 Catheter for
66 Standby device DB
67 Drug cumulative amount DB
81 Patient
Claims (19)
前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得し、
取得した前記患者情報と、取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させ、
前記アクションが画像を取得するアクションである場合、
画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、
前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを表示させる
処理をコンピュータに実行させる情報処理方法。 Obtaining patient information regarding a patient undergoing catheterization;
Sequentially acquiring actions related to catheter treatment for the patient in association with the times at which the actions were performed;
displaying the acquired patient information and time-series information in which the acquired actions are arranged in time series on a first display device ;
If the action is an action of acquiring an image,
inputting the acquired image into a first model which outputs a converted image obtained by converting the image when the image is input, and acquiring a converted image output from the first model or a reduced converted image obtained by reducing the converted image;
The time series information is associated with the time of acquisition of the image, and a reduced image obtained by reducing the image, and the converted image or the reduced converted image are displayed.
An information processing method for causing a computer to execute processing.
請求項１に記載の情報処理方法。 When the selection of the reduced image is accepted, the image corresponding to the reduced image is displayed on the second display device.
The information processing method according to claim 1 .
前記アクションは、表示した器材リストから器材の選択を受け付けるアクションであり、
選択を受け付けた器材と選択を受け付けた時刻とを前記第１表示装置に表示させる
請求項１または請求項２に記載の情報処理方法。 Display the equipment list,
the action is an action of accepting a selection of an equipment from a displayed equipment list;
The device whose selection has been accepted and the time when the selection has been accepted are displayed on the first display device.
3. The information processing method according to claim 1 .
請求項３に記載の情報処理方法。 The equipment list is displayed by an arrangement of icons representing each equipment.
The information processing method according to claim 3 .
前記器材リストに、それぞれの器材を使用した回数を表示する
請求項３または請求項４に記載の情報処理方法。 Obtaining the number of times each piece of equipment included in the equipment list has been used from a database in which equipment and the number of times each piece of equipment has been used are associated with each other;
In the equipment list, indicate the number of times each equipment has been used.
5. The information processing method according to claim 3 .
前記アクションは、表示した薬剤リストから薬剤の選択を受け付けるアクションであり、
選択を受け付けた薬剤と選択を受け付けた時刻とを前記第１表示装置に表示させる
請求項１から請求項５のいずれか一つに記載の情報処理方法。 View the medication list,
The action is an action of accepting a selection of a drug from a displayed drug list,
The information processing method according to claim 1 , further comprising causing the first display device to display the selected drug and the time when the selection was accepted.
請求項１から請求項６のいずれか一つに記載の情報処理方法。 7. The information processing method according to claim 1, wherein, when the action is an action of performing stent expansion, a stent expansion pressure, an expansion time, and an expansion location are displayed in association with a time when the stent expansion was performed.
請求項１から請求項７のいずれか一つに記載の情報処理方法。 8. The information processing method according to claim 1, further comprising the steps of: displaying, when the action is an action of expanding a balloon, a balloon expansion pressure, an expansion time, and an expansion location in association with a time when the balloon was expanded.
取得した前記バイタル情報を前記第１表示装置に表示させる
請求項１から請求項８のいずれか一つに記載の情報処理方法。 acquiring vital information of the patient;
The information processing method according to claim 1 , further comprising causing the first display device to display the acquired vital sign information.
請求項１から請求項９のいずれか一つに記載の情報処理方法。 The information processing method according to claim 1 , further comprising recording time-series information in which the action is associated with the time.
前記時系列情報に対する追記または修正を受け付け、
受け付けた追記または修正を反映させた前記時系列情報を記録する
請求項１０に記載の情報処理方法。 Displaying the time series information;
Accept additions or corrections to the time series information;
The time series information reflecting the received additions or corrections is recorded.
The information processing method according to claim 10 .
請求項１０または請求項１１に記載の情報処理方法。 Based on the time series information, a time series diagram showing the passage of time and the tasks performed at each time is output.
The information processing method according to claim 10 or 11 .
請求項１から請求項４のいずれか一つに記載の情報処理方法。 The information processing method according to claim 1 , further comprising inputting the acquired image into a second model that outputs a treatment strategy when an image is input, and displaying the treatment strategy output from the second model.
請求項１３に記載の情報処理方法。 An icon for displaying the treatment strategy in association with the time when the treatment strategy was output is displayed in the time series information.
The information processing method according to claim 13 .
請求項１に記載の情報処理方法。The information processing method according to claim 1 .
請求項１５に記載の情報処理方法。The information processing method according to claim 15.
前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得し、
取得した前記患者情報と、取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させ、
前記アクションが画像を取得するアクションである場合、
画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、
前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを表示させる
処理をコンピュータに実行させるプログラム。 Obtaining patient information regarding a patient undergoing catheterization;
Sequentially acquiring actions related to catheter treatment for the patient in association with the times at which the actions were performed;
displaying the acquired patient information and time-series information in which the acquired actions are arranged in time series on a first display device ;
If the action is an action of acquiring an image,
inputting the acquired image into a first model that outputs a converted image obtained by converting the image when the image is input, and acquiring a converted image output from the first model or a reduced converted image obtained by reducing the converted image;
The time series information is associated with the time of acquisition of the image, and a reduced image obtained by reducing the image, and the converted image or the reduced converted image are displayed.
A program that causes a computer to carry out processing.
前記患者に対するカテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけて逐次取得するアクション取得部と、
前記患者情報取得部が取得した前記患者情報と、前記アクション取得部が取得した前記アクションを時系列に配列した時系列情報とを第１表示装置に表示させる表示部と、
画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得する変換画像取得部とを備え、
前記アクションが画像を取得するアクションである場合、前記表示部は、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを前記時系列情報に含める
情報処理システム。 a patient information acquisition unit that acquires patient information regarding a patient undergoing catheter treatment;
an action acquisition unit that sequentially acquires actions related to the catheter treatment for the patient in association with the times at which the actions were performed;
a display unit that displays, on a first display device, the patient information acquired by the patient information acquisition unit and time-series information in which the actions acquired by the action acquisition unit are arranged in time series ;
a converted image acquisition unit that inputs the acquired image into a first model that outputs a converted image obtained by converting the image when the image is input, and acquires the converted image output from the first model or a reduced converted image obtained by reducing the converted image,
When the action is an action of acquiring an image, the display unit includes in the time-series information a reduced image obtained by reducing the image in association with a time of acquiring the image, and the converted image or the reduced converted image.
Information processing system.
前記情報処理装置は、
カテーテル治療を受ける患者と、前記カテーテル治療に関連するアクションと、前記アクションが行なわれた時刻とを関連づけた時系列情報を記録し、
前記アクションが画像を取得するアクションである場合、
画像を入力した場合に前記画像を変換した変換画像を出力する第１モデルに取得した前記画像を入力し、前記第１モデルから出力された変換画像、または、前記変換画像を縮小した縮小変換画像を取得し、
前記時系列情報に、前記画像を取得した時刻と関連づけて前記画像を縮小した縮小画像と、前記変換画像または前記縮小変換画像とを含め、
前記端末装置は、
前記患者に関する患者情報を取得し、
前記情報処理装置から前記患者に関連付けられた時系列情報を逐次取得し、
取得した前記患者情報と、取得した前記時系列情報とを表示する
情報処理システム。 An information processing system having an information processing device and a terminal device,
The information processing device includes:
Recording time series information that associates a patient undergoing catheter treatment with an action related to the catheter treatment and the time at which the action was performed;
If the action is an action of acquiring an image,
inputting the acquired image into a first model which outputs a converted image obtained by converting the image when the image is input, and acquiring a converted image output from the first model or a reduced converted image obtained by reducing the converted image;
The time series information includes a reduced image obtained by reducing the image in association with a time when the image was acquired, and the converted image or the reduced converted image;
The terminal device
obtaining patient information relating to the patient;
Sequentially acquiring time-series information associated with the patient from the information processing device;
An information processing system that displays the acquired patient information and the acquired time-series information.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020061516 | 2020-03-30 | ||
| JP2020061516 | 2020-03-30 | ||
| PCT/JP2021/009236 WO2021199952A1 (en) | 2020-03-30 | 2021-03-09 | Information processing method, program, and information processing system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021199952A1 JPWO2021199952A1 (en) | 2021-10-07 |
| JP7699105B2 true JP7699105B2 (en) | 2025-06-26 |
Family
ID=77928538
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022511724A Active JP7699105B2 (en) | 2020-03-30 | 2021-03-09 | Information processing method, program, and information processing system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7699105B2 (en) |
| WO (1) | WO2021199952A1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2025141844A1 (en) * | 2023-12-28 | 2025-07-03 | 三菱電機株式会社 | Assistance system, server device, and assistance method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003263495A (en) | 2002-03-08 | 2003-09-19 | Hitachi Medical Corp | Medical information management system |
| JP2004154341A (en) | 2002-11-06 | 2004-06-03 | Sysmex Corp | Diabetes mellitus diagnostic support system |
| JP2008188329A (en) | 2007-02-07 | 2008-08-21 | Konica Minolta Medical & Graphic Inc | Diagnosis support system |
| JP2015097065A (en) | 2013-11-15 | 2015-05-21 | 株式会社東芝 | Surgical information management apparatus |
| JP2019180822A (en) | 2018-04-10 | 2019-10-24 | Ｄｇｓｈａｐｅ株式会社 | Surgical instrument management system |
-
2021
- 2021-03-09 JP JP2022511724A patent/JP7699105B2/en active Active
- 2021-03-09 WO PCT/JP2021/009236 patent/WO2021199952A1/en not_active Ceased
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003263495A (en) | 2002-03-08 | 2003-09-19 | Hitachi Medical Corp | Medical information management system |
| JP2004154341A (en) | 2002-11-06 | 2004-06-03 | Sysmex Corp | Diabetes mellitus diagnostic support system |
| JP2008188329A (en) | 2007-02-07 | 2008-08-21 | Konica Minolta Medical & Graphic Inc | Diagnosis support system |
| JP2015097065A (en) | 2013-11-15 | 2015-05-21 | 株式会社東芝 | Surgical information management apparatus |
| JP2019180822A (en) | 2018-04-10 | 2019-10-24 | Ｄｇｓｈａｐｅ株式会社 | Surgical instrument management system |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021199952A1 (en) | 2021-10-07 |
| JPWO2021199952A1 (en) | 2021-10-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20250195032A1 (en) | Intraluminal ultrasound navigation guidance and associated devices, systems, and methods | |
| US10902941B2 (en) | Interventional radiology structured reporting workflow utilizing anatomical atlas | |
| US10971272B1 (en) | Method and apparatus for evaluating a heart patient | |
| JP2022525469A (en) | Workflow based on arterial imaging and evaluation systems and methods and related user interfaces | |
| JP2018536476A (en) | System and method for anatomical modeling using information from a procedure | |
| US11049595B2 (en) | Interventional radiology structured reporting workflow | |
| JP6527771B2 (en) | INFORMATION ANALYSIS SUPPORT DEVICE, ITS OPERATION METHOD, OPERATION PROGRAM, AND INFORMATION ANALYSIS SUPPORT SYSTEM | |
| US20230012051A1 (en) | Patient information presentation method and electronic device | |
| WO2021193024A1 (en) | Program, information processing method, information processing device and model generating method | |
| JP7699105B2 (en) | Information processing method, program, and information processing system | |
| WO2022071203A1 (en) | Information processing device, information processing method, and computer program | |
| JP7644092B2 (en) | Program, information processing method, learning model generation method, learning model re-learning method, and information processing system | |
| JP7737357B2 (en) | Program, information processing method, and information processing system | |
| US20230237546A1 (en) | Program, information processing method, information processing device, and model generation method | |
| Dash et al. | Artificial intelligence-driven techniques for interventional cardiology: A current appraisal | |
| JP7313888B2 (en) | MEDICAL INFORMATION PROCESSING APPARATUS, MEDICAL INFORMATION PROGRAM AND METHOD | |
| JP7667134B2 (en) | PROGRAM, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING APPARATUS AND MODEL GENERATION METHOD | |
| Anvarovich | CARDIOTHERAPY: THE USE OF INFORMATION TECHNOLOGIES AND ARTIFICIAL INTELLIGENCE; INNOVATIVE APPROACHES IN THE TREATMENT OF CARDIOVASCULAR DISEASES | |
| EP4625434A1 (en) | Supporting an interventional procedure | |
| US20050222509A1 (en) | Electrophysiology system and method | |
| JP2022056713A (en) | Information processing equipment, information processing methods and programs | |
| JP7577734B2 (en) | PROGRAM, INFORMATION PROCESSING METHOD AND INFORMATION PROCESSING APPARATUS | |
| JP6026239B2 (en) | Interpretation report system | |
| Mody et al. | Artificial intelligence in coronary physiology: where do we stand? | |
| JP2024142136A (en) | PROGRAM, INFORMATION PROCESSING METHOD, INFORMATION PROCESSING DEVICE, AND TRAINED MODEL GENERATION METHOD |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231013 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20241210 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20250204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250603 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250616 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7699105 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |