JP7755966B2 - 医用情報処理装置、方法及びプログラム - Google Patents

Description

本明細書及び図面に開示の実施形態は、医用情報処理装置、方法及びプログラムに関する。

複数の診療判断の中から患者に特定の診療判断を割り付ける行為が、臨床研究や日常診療で行われている。割付を適応的に変更する手法としてアダプティブデザインやバンディット（Bandit）アルゴリズム等がある。患者全体の利益を最大化するためには、最適である可能性が低い診療判断も適切な頻度であえて選択する必要があるが、割付時に各診療判断の効果の大きさの推定値が分かっているため、患者間の不公平性が生じてしまう。

国際公開第２０２１／０６５８４５号

本明細書及び図面に開示の実施形態が解決しようとする課題の一つは、被験者全体の利益の大きさを維持しつつ、診療判断の割付に関する被験者間の不公平性を低減することである。ただし、本明細書及び図面に開示の実施形態により解決しようとする課題は上記課題に限られない。後述する実施形態に示す各構成による各効果に対応する課題を他の課題として位置づけることもできる。

実施形態に係る医用情報処理装置は、第１の取得部、第２の取得部及び決定部を有する。第１の取得部は、複数の診療判断に関する効果評価値を取得する。第２の取得部は、前記複数の診療判断に関する公平性指標値を取得する。決定部は、前記効果評価値と前記公平性指標値とに基づいて対象被験者に対して割り付ける診療判断を決定する。

図１は、本実施形態に係る医用情報処理装置の構成例を示す図である。 図２は、医用情報処理プログラムに従い処理回路により行われる医用情報処理の流れを示す図である。 図３は、図２に示す医用情報処理を模式的に示す図である。 図４は、実施例１に係る処理回路による割付処理の流れを示す図である。 図５は、図４に示す医用情報処理を模式的に示す図である。 図６は、主観的最適腕確率と主観的最適腕確率差との概念を示す図である。 図７は、目標値が範囲である場合の公平性指標値を示す図である。 図８は、実施例２に係る処理回路による割付処理の流れを示す図である。 図９は、図８に示す医用情報処理を模式的に示す図である。 図１０は、目標値が単一値である場合の公平性指標値を示す図である。 図１１は、単一の目標値による診療判断の割付方針の推移を示す図である。 図１２は、割付対象の設定処理の具体例を示す図である。 図１３は、割付対象の設定処理の他の具体例を示す図である。

以下、図面を参照しながら、医用情報処理装置、方法及びプログラムの実施形態について詳細に説明する。

医療分野では、データ及びＡＩ（Artificial Intelligence）技術を用いて、診療意思決定支援（ＣＤＳ：Clinical Decision Support）を実現するための取り組みがなされている。ＡＩ技術については、深層学習に代表される教師有り学習が多く用いられており、特に画像診断領域では人間を上回る精度で病変を検出できるものも出現している。

しかし、教師有り学習による診療意思決定支援の実現には以下の点が問題になりうる。
１．精度を高めるためには大量のデータが必要であり、データ収集に要するコストが大きい。
２．精度が高かったとしても、適切な診療意思決定に繋がらない場合がある。

２．の問題は、技術的には、「教師有り学習は相関関係を明らかにすることはできるが、因果関係は明らかにすることはできない」、という問題に等しい。例えば、ある心不全患者の５年以内の死亡を１００％の精度で予測できるＡＩモデルがあったとしても、この患者の余命を５年以上に延ばす方法を知りたい医師にとってこのＡＩモデルは無力である。

診療行為の因果関係を明らかにし、最適な診療行為を明らかにすることは、現時点での教師有り学習では実現できておらず、それはランダム化比較試験（ＲＣＴ：Randomized Controlled Trial）（又は医療統計学）の役目である。すなわち、現在のＡＩ技術の延長線上においては、真の意味での「治療最適化のための診療意思決定支援」は存在せず、ランダム化比較試験がなくなることはない。

しかし、ランダム化比較試験においても下記のような多くの問題がある。
１．研究完了までに多くの時間を要するため、最新動向に追従できず、結果が時代遅れになりやすい。
２．研究に膨大なコストがかかる一方で、仮説検証失敗のリスクがあるため、効率が悪い。
３．研究時の適格基準が厳しく設定される傾向があるため、結果が一般の患者に当てはまらない可能性がある（外的妥当性が低い）。
４．平均的な介入効果しか比較できず、患者毎に異なる効果を明らかにすることはできない。例えば、個別化医療のようなケースを想定できない。
５．統計的有意性への過度な依存により、出版バイアスやｐ値ハッキングが起こりやすい。

特に、昨今では治療法の移り変わりが早く、個別化医療の重要性が求められているため、ランダム化比較試験の限界が見えてきている。

そこで、事前の大量のデータを必要とすることなく、ランダム化比較試験を実施することなく、診療判断を効率的に最適化することが求められている。更には、そのための診療意思決定支援モデルの構築が求められている。

図１は、本実施形態に係る医用情報処理装置１の構成例を示す図である。図１に示すように、医用情報処理装置１は、処理回路１１、記憶装置１２、入力機器１３、通信機器１４及び表示機器１５を有するコンピュータ等の情報処理端末である。処理回路１１、記憶装置１２、入力機器１３、通信機器１４及び表示機器１５はバス（Bus）を介して相互に信号を入出力可能に接続されている。

処理回路１１は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等のプロセッサを有する。処理回路１１は、医用情報処理プログラムを実行することにより、割付機能１１１、観測機能１１２、蓄積機能１１３、更新機能１１４及び表示制御機能１１５等を実現する。なお、各機能１１１～１１５は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組合せて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能１１１～１１５を実現するものとしても構わない。また、機能１１１～１１５は、それぞれ医用情報処理プログラムを構成するモジュール化されたプログラムであってもよい。これらプログラムは記憶装置１２に記憶される。

記憶装置１２は、種々の情報を記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等である。記憶装置１２は、上記記憶装置以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬型記録媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、記憶装置１２は、ネットワークを介して接続された他のコンピュータ内にあってもよい。

入力機器１３は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１に出力する。具体的には、入力機器１３は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力機器１３は、当該入力機器への入力操作に応じた電気信号を処理回路１１へ出力する。また、入力機器１３は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。

通信機器１４は、他のコンピュータとの間で種々の情報を送受信するためのインタフェースである。通信機器１４による情報通信は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）等の医療情報通信に適当な規格に従い行われる。

表示機器１５は、処理回路１１の表示制御機能１１５により種々の情報を表示する。表示機器１５としては、例えば、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。また、表示機器１５としてプロジェクタが使用されてもよい。

本実施形態に係る処理回路１１は、割付け機能１１１の実現により、診療判断の効果評価値に基づいて、患者等の被験者に割り付ける診療判断を決定する。診療判断の効果評価値は、診療判断の効果評価値を算出するモデルを使用して算出される。割り付けた診療判断に対応する診療行為が被験者に対して施される。診療行為に起因した効果が被験者に発生する。処理回路１１は、観測機能１１２の実現により、被験者に発生した効果を観測する。効果は数値として表現される。これを効果観測値と呼ぶことにする。処理回路１１は、蓄積機能１１３の実現により、効果観測値、診療行為及びその他の特徴量が関連付けて観測データとして記憶装置１２に蓄積される。種々様々な被験者に対して上記の診療判断の割付け、効果の観測及び観測データの蓄積が行われる。処理回路１１は、更新機能１１４の実現により、観測データの蓄積時において、観測データに基づいてモデルを更新する。処理回路１１は、表示制御機能１１５の実現により、種々のデータを表示機器１５に表示する。

割付機能１１１は、効果評価値取得機能１１６、公平性指標値取得機能１１７及び割付決定機能１１８に分けられる。効果評価値取得機能１１６の実現により、処理回路１１は、複数の診療判断に関する効果評価値を取得する。公平性指標値取得機能１１７の実現により、処理回路１１は、複数の診療判断に関する公平性指標値を取得する。割付決定機能１１８の実現により、処理回路１１は、効果評価値と公平性指標値とに基づいて対象被験者に対して割り付ける診療判断を決定する。

本実施形態に係る被験者は、典型的には、疾患を有する１人の患者である。しかしながら、本実施形態に係る被験者は、これに限定されず、２人以上の患者から構成される患者集団でもよい。また、本実施形態に係る被験者は、必ずしも疾患を有している人物である必要はなく、健康な人物でもよい。モデルは、医師毎、診療科毎、病院毎、地域毎に使用されるものでもよいし、被験者毎に使用されるものでもよい。

本実施形態に係るモデルは、診療判断の効果評価値を算出するための関数である。当該関数は、人手を介して定められた関数でもよいし、実験的手法や決定論的手法により定められた関数でもよいし、機械学習で訓練された関数でもよいし、その他の任意の手法により決定された関数でもよい。

本実施形態に係る診療判断の種類として、実施有無に関する判断、内容に関する判断、量に関する判断、時期に関する判断等が想定される。実施有無に関する判断としては、一例として、手術の実施有無や血液検査の実施有無に関する判断等が挙げられる。内容に関する判断としては、一例として、使用する治療薬の選択や診断を下す病名の選択に関する判断等が挙げられる。量に関する判断としては、一例として、薬剤の投与量の選択やリハビリ実施時間の選択等に関する判断が挙げられる。時期に関する判断としては、一例として、来院時期の選択や手術実施時期の選択に関する判断が挙げられる。

診療判断を実施する人は医師や看護師、コメディカル等の医療従事者だけでなく、被験者自身、被験者の家族、被験者に関係する人など全てである。診療判断は、必ずしも医療的に高度な判断である必要もなければ、健康の向上のために行われる判断である必要もない。すなわち、医療や健康に悪い方向に働く判断も診療判断の範疇である。例えば、ある健常者があるタイミングでタバコを吸うか否かの判断も診療判断の対象である。

診療判断の結果として何らかの効果が発生する。この効果は報酬やアウトカムとも呼ばれる。本実施形態に係る効果は、例えば、臨床的アウトカム、患者報告アウトカム、経済的アウトカムが想定される。臨床的アウトカムとしては、一例として、罹患率（罹患の有無を含む）、５年生存率（生存の有無を含む）、合併症発生率（合併症の有無を含む）、再入院率（再入院の有無を含む）、検査値（又は検査値の改善度）、日常生活自立度等が挙げられる。患者報告アウトカムとしては、一例として、自覚症状、主観的な健康状況、治療対する満足度、主観的幸福度等や挙げられる。経済的アウトカムとしては、一例として、医療費、投入された医療リソース、在院日数等が挙げられる。

効果は、数値として表現されるものであり、学習のため優劣をつけることができるものである。元々は数値でないものに数値を割り当ててもよい。効果は診療判断後に直ちに観測されるものであってもよい。例えば、健常者のスマートフォンに運動を促すメッセージを通知するかどうかの診療判断に対する効果として、メッセージ受信後５分以内の運動実施の有無を効果としてもよい。

効果は、診療判断に要するコストを考慮してもよい。例えば、上記のスマートフォンのメッセージの例では、通知をした場合は、しない場合よりも、効果は得られやすいというメリットを享受できるが、一方で通知には通信コストやユーザの行動を阻害するデメリットも生じる。このようなメリットとデメリットとを考慮するためには、例えば、１回目のメッセージでコスト「５」が必ず発生し、運動実施で報酬「１００」が得られるとすると、報酬「１００」－コスト「５」＝効果「９５」のように効果を算出すればよい。これにより、費用対効果を反映した効果を得ることが可能になる。

本実施形態に係る特徴量は、被験者の属性及び／又は状態を含む。属性は、被験者の性別や年齢等、直前の診療判断で変わらない性質を有する情報である。状態は、被験者の血圧値や血糖値等、直前の診療判断で変わる性質を有する情報である。

以下、本実施形態に係る医用情報処理装置１の動作例について説明する。

図２は、医用情報処理プログラムに従い処理回路１１により行われる医用情報処理の流れを示す図である。図３は、図２に示す医用情報処理を模式的に示す図である。

図２及び図３に示すように、処理回路１１は、割付機能１１１の実現により、対象主体のためのモデルを使用して対象主体に診療判断を割り付ける（ステップＳ１）。ステップＳ１において処理回路１１は、バンディットアルゴリズムを基礎とするアルゴリズムに従い割付対象の診療判断を決定する。バンディットアルゴリズムは、探索と活用のトレードオフを最適化することを目指したアルゴリズムであり、獲得する累積報酬を最大化又は累積リグレットを最小化するように逐次的に診療判断を決定する（なおリグレットは、最適な行動で得られる報酬と実際の行動から得られた報酬との差分を表す）。累積報酬が最大又は累積リグレットが最小であっても、必ずしも探索の公平性が確保されているわけではない。そこで処理回路１１は、探索の公平性を保ちつつ累積報酬最大化又は累積リグレット最小化を実現するため、効果評価値と公平性指標値とに基づいて割付対象の診療判断を決定する。より詳細には、ステップＳ１において、以下の過程により診療判断の割付けが行われる。

なお、本実施形態に係るバンディットアルゴリズムは、効果が特徴量に依存しない狭義のバンディットアルゴリズムだけでなく、効果が特徴量に依存する文脈付きバンディットアルゴリズムや、状態がそれまでの診療判断に応じて変化する逐次的意思決定問題を解く強化学習を含むものとする。本実施形態に係るバンディットアルゴリズムの具体的なアルゴリズムとしては、一例として、イプシロングリーディ（Epsilon Greedy）やトンプソンサンプリング（Thompson Sampling）、線形トンプソンサンプリング（Linear Thompson Sampling）、ＰＳＲＬ（Posterior Sampling for Reinforcement Learning）、ＢＤＱＮ（Bayesian Deep Q-Networks）等を用いることが可能である。

まず、処理回路１１は、効果評価値取得機能１１６の実現により、モデルを使用して、複数の診療判断にそれぞれ対応する複数の効果評価値を算出する（ステップＳ１０１）。効果評価値は、割付候補の診療判断の有する効果を評価する指標値であり、例えば、主観的最適腕確率、主観的最適腕確率差、効果の信頼区間、効果の期待値、当該期待値の最大値、当該期待値の最大値からの差等の指標値が用いられるとよい。

ステップＳ１０１が行われると処理回路１１は、公平性指標値取得機能１１７の実現により、複数の診療判断にそれぞれ対応する複数の公平性指標値を算出する（ステップＳ１０２）。公平性指標値は、診療判断各々について算出される。公平性指標値は、当該診療判断を選択することの公平の度合いを評価する指標値である。公平性指標値は、効果評価値に基づく指標値である。より詳細には、公平性指標値は、効果評価値とその目標値とに基づいて算出される。本実施形態に係る公平性指標値は、目標値が範囲である場合と単一値である場合との何れでもよい。

ステップＳ１０２が行われると処理回路１１は、割付決定機能１１８の実現により、ステップＳ１０１において算出された効果評価値とステップＳ１０２において算出された公平性指標値とに基づいて、被験者に割り付ける診療判断を決定する（ステップＳ１０３）。具体的には、下記実施例１に係る処理回路１１は、所定の確率分布に従い単一の乱数を決定し、決定された単一の乱数に基づいて所定の方策に従い複数の診療判断の中から１以上の割付候補を決定する。そして処理回路１１は、割付候補に関する公平性指標値が所定条件を満たす場合、当該割付候補を割付対象の診療判断に決定する。下記実施例２に係る処理回路１１は、複数の診療判断の中から、所定の確率分布に従い複数の乱数を決定し、決定された複数の乱数に基づいて所定の方策に従い確率的に複数の割付候補を決定する。処理回路１１は、複数の割付候補の間での公平性指標値の比較に基づいて割付対象の診療判断を決定する。

ステップＳ１０３が行われると被験者に診療判断に対応する診療行為が施される。この際、ステップＳ１０３において決定された診療判断ではなく被験者自らが選択した診療判断に対応する診療行為が施されることもある。

ステップＳ１が行われると処理回路１１は、観測機能１１２の実現により、被験者に発生する効果を観測する（ステップＳ２）。効果は効果観測値として数値で観測される。例えば、診療判断が「手術を実施する」である場合、効果観測値として５年生存率や合併症の発生の有無等が取得される。効果観測値は如何なる方法により取得されてもよい。例えば、入力機器１３を介して操作者により入力されてもよいし、検査機器による測定値が入力されてもよい。あるいは、他のコンピュータから通信機器１４を介して受信してもよい。

ステップＳ２が行われると処理回路１１は、蓄積機能１１３の実現により、観測データを記憶装置１２により管理されるデータベースＤＢに蓄積される（ステップＳ３）。観測データは、被験者の識別子と、被験者に施された診療行為に対応する診療判断と、当該診療行為により被験者に発生した効果の効果観測値とを含む。

ステップＳ３が行われると処理回路１１は、更新機能１１４の実現により、モデルを更新する（ステップＳ４）。処理回路１１は、一例として、効果が観測される毎、換言すれば、効果観測値が取得される毎にモデルのパラメータを更新するものとする。

以上により、本実施形態に係る医用情報処理が終了する。その後、ステップＳ１～Ｓ４は、同一被験者又は異なる被験者について繰り返し実行される。これによりモデルの効果評価値の算出精度が向上すると共に、診療判断の割付精度を向上することが可能になる。

以下、本実施形態の幾つかの実施例について説明する。

（実施例１）
トンプソンサンプリングをはじめとしたバンディットアルゴリズムは、期待値最大でない選択肢を「必要最小限」の回数だけ引くことを理論的に保証した手法であるが、この「必要最小限」というのは無限の被験者数を含む全ての選択肢の選択であって、有限の被験者数であれば不要な探索が存在すると考えられる。例えば、ある被験者に対して期待値最大である可能性がかなり低い選択肢を選択することによって得られる効果は、現時点よりもずっと先の将来で起こることになる。一方で、このような探索は、期待値最大である可能性がかなり低い選択肢を選択することになるため、被験者間の公平性を大きく低下させることになる。このように、有限回数を想定した場合には、一部の探索を無くすことでリグレットと公平性の両方を改善させる可能性がある。

本実施例１に係る処理回路１１は、効果評価値に対する閾値を設定し、この閾値よりも大きい効果評価値を有する診療判断を選択しないようにする手法（クリッピング）を実行する。すなわち、実施例１では、効果評価値に対する目標値が範囲で設定される。以下、実施例１に係る医用情報処理について説明する。なお、実施例１に係る効果評価値は、主観的最適腕確率及び／又は主観的最適腕確率差であるとする。

図４は、実施例１に係る処理回路１１による割付処理の流れを示す図である。図５は、図４に示す医用情報処理を模式的に示す図である。図４に示すステップＳ１１１～Ｓ１１８は、図２に示すステップＳ１に含まれる。図４に示す医用情報処理は、図２において繰り返し行われる割付工程（Ｓ１）のうちの第ｎ回目の割付工程であるものとする。すなわち、既に同一又は他の被験者について診療判断の割付が複数回実施されているものとする。

まず、処理回路１１は、効果評価値取得機能１１６の実現により、診療判断毎に、主観的最適腕確率を算出する（ステップＳ１１１）。主観的最適腕確率とは、その時々において、その診療判断の効果の期待値が最も高いという事象の主観的確率である。主観的確率とは、個人やアルゴリズムが持つ情報や経験に基づく主観的な信念や確信の度合いを意味する。主観的最適腕確率は、下記の（１）式に従い、ベイズの定理に基づき、各診療判断に対する効果の事後分布に基づいて算出される。ここで、ｑ_ｉ（α｜Ｄ_ｉ）は、観測データ（効果観測値）Ｄ_ｉが得られた条件下での診療判断ｉの効果の事後確率密度関数であり、α及びβは確率密度関数のパラメータである。主観的最適腕確率は、モンテカルロシミュレーション等で計算可能である。

ステップＳ１１１が行われると処理回路１１は、割付決定機能１１８の実現により、バンディットアルゴリズムに従い、主観的最適腕確率に基づいて割付候補を決定する（ステップＳ１１２）。バンディットアルゴリズムの具体的な方策アルゴリズムは特に限定されず、例えば、イプシロングリーディ（Epsilon Greedy）法、ＵＣＢ（Upper Confidence Bound）法、ＭＥＤ（Minimum Empirical Divergence）法、トンプソンサンプリング等を用いることが可能である。例えば、トンプソンサンプリングを用いる場合、処理回路１１は、各診療判断の割付確率（サンプリング確率）を主観的最適腕確率に一致させるように診療判断を確率的に決定する。決定された診療判断が割付候補に設定される。

図５に示すように、実施例１では、６個の診療判断Ａ～Ｆの中から割付対象の診療判断を決定するものとする。ステップＳ１１１において処理回路１１は、まず、任意の確率分布から単一の乱数をサンプリングする。そして処理回路１１は、単一の乱数に基づいて所定の方策アルゴリズムに従い６個の診療判断Ａ～Ｆの中から１個の割付候補を決定する。所定の方策アルゴリズムは、確率的方策に限定されず、決定型方策でもよく、上記の方策アルゴリズムの中から任意に選択可能である。図５において診療判断Ｃが割付候補に決定されたものとする。

ステップＳ１１２が行われると処理回路１１は、効果評価値取得機能１１６の実現により、割付候補について主観的最適腕確率差を算出する（ステップＳ１１３）。主観的最適腕確率は効果評価値の一例である。主観的最適腕確率差Δｐ_ｉとは、下記（２）式で表されるように、全ての診療判断の主観的最適腕確率の最大値ｍａｘ_ｊｐ_ｊから、算出対象の診療判断の主観的最適腕確率ｐ_ｊを減じた値である。

図６は、主観的最適腕確率と主観的最適腕確率差との概念を示す図である。図６に示すように、診療判断１に対する治療効果の事後分布ａ１と診療判断２に対する治療効果の事後分布ａ２とが図示されている。なお治療効果は診療判断の効果の一例である。診療判断１の主観的最適腕確率は１０％であり、診療判断２の主観的最適腕確率が９０％であるとすると、診療判断１及び２の中の主観的最適腕確率の最大値は９０％であるから、診療判断１の主観的最適腕確率差は９０％－１０％＝８０％であり、診療判断２の主観的最適腕確率差は９０％－９０％＝０％となる。

ステップＳ１１３が行われると処理回路１１は、公平性指標値取得機能１１７の実現により、主観的最適腕確率差の目標値を設定する（ステップＳ１１４）。実施例１に係る目標値は主観的最適腕確率差の範囲に設定される。ステップＳ１１４が行われると処理回路１１は、公平性指標値取得機能１１７の実現により、主観的最適腕確率差と目標値とに基づいて、公平性指標値を算出する（ステップＳ１１５）。

図７は、目標値が範囲である場合の公平性指標値を示す図である。図７に示すように、効果評価値である主観的最適腕確率差の任意の値に閾値が設定される。主観的最適腕確率差の閾値以下の範囲が目標値に設定される。閾値から主観的最適腕確率差１００％までの範囲には公平性指標値「１」が割り当てられる。公平性指標値「１」は不公平であることを意味する。閾値から主観的最適腕確率差０％までの範囲、すなわち、目標値の範囲には公平性指標値「０」が割り当てられる。公平性指標値「０」は公平であることを意味する。

例えば、診療判断Ａの主観的最適腕確率差が０％であり、診療判断Ｂの主観的最適腕確率差が８０％である場合に目標値を０％～４０％の範囲に固定したときを考える。この場合、診療判断Ａの主観的最適腕確率差は目標値の範囲内にあるため、公平性指標値は公平である旨の「０」に設定される。一方、診療判断Ｂの主観的最適腕確率差は目標値の範囲外であるため、公平性指標値は不公平である旨の「１」に設定される。

複数の処理対象時刻（試行）に亘り目標値は固定された値でもよいし、固定された値でなくてもよい。また、試行回数に応じて目標値が変化してもよい。例えば、試行回数が多くなるにつれて目標値が狭く、すなわち、公平の範囲が狭くなるように設定されてもよい。

ステップＳ１１５が行われると処理回路１１は、割付決定機能１１８の実現により、ステップＳ１１５において割付候補に公平性指標値「０」が設定されたか否かを判定する（ステップＳ１１６）。ステップＳ１１６において割付候補に公平性指標値「０」が設定されたと判定された場合（ステップＳ１１６：ＹＥＳ）、処理回路１１は、割付候補を割付対象の診療判断に設定する（ステップＳ１１７）。ステップＳ１１６において割付候補に公平性指標値「０」が設定されたと判定されない場合（ステップＳ１１６：ＮＯ）、すなわち、割付候補に公平性指標値「１」が設定された場合、処理回路１１は、他の診療判断を割付対象の診療判断に設定する（ステップＳ１１８）。

例えば、図５に示すように、割付候補である診療判断Ｃに公平性指標値「０」が設定されたか否かがステップＳ１１６において判定される。診療判断Ｃに公平性指標値「０」が設定されたと判定された場合、診療判断Ｃが割付対象に採用される。一方、診療判断Ｃに公平性指標値「１」が設定されたと判定された場合、診療判断Ｃが棄却される。この場合、処理回路１１は、割付候補以外の診療判断Ａ，Ｂ，Ｄ，Ｅ，Ｆのうちの主観的最適腕確率が最も高いものを割付対象に設定するとよい。他の例として、処理回路１１は、割付候補以外の診療判断Ａ，Ｂ，Ｄ，Ｅ，Ｆのうちの公平性指標値が「０」の診療判断の中から確率的に割付対象を設定してもよい。図５においては、診療判断Ｆが割付対象に設定されたこととなる。

以上により、実施例１に係る割付処理が終了する。

上記の通り、実施例１に係る処理回路１１は、所定の確率分布に従い単一の乱数を決定し、決定された単一の乱数に基づいて所定の方策に従い複数の診療判断の中から１以上の割付候補を決定する。そして処理回路１１は、割付候補に関する公平性指標値が所定条件を満たす場合、当該割付候補を割付対象の診療判断に決定する。より詳細には、処理回路１１は、割付候補の公平性指標値が所定値「０」であれば当該割付候補を割付対象に設定し、割付候補の公平性指標値が所定値「０」でなければ当該割付候補以外の診療判断の中から割付対象を設定する。実施例１に係る手法は、バンディットアルゴリズムにより選択された割付を公平性指標値に基づいて修正しているといえる。実施例１に係る手法によれば、適切な探索頻度で診療判断の選択を行うバンディットアルゴリズムを基盤にしつつ、公平性に欠ける割付候補が割付対象から棄却されるので、公平性を担保しつつ探索を行うことが可能になる。

実施例１に係る手法は、診療判断を選択する部分にのみ公平性指標値が影響するので、文脈無しバンディット（Context-free Bandit）、文脈付きバンディット（Contextual Bandit）、逐次的意思決定（Sequential Decision Making）の何れの意思決定問題にも適用可能である。なお、文脈無しバンディットは、効果が診療判断にのみ依存する事例である。各被験者が複数種類の診療判断の中から１つを選択していく場合に、被験者の効果の期待値は選択した診療判断の種類のみに影響を受ける。このようなケースは一般的には多腕バンディット（Multi-armed Bandit）と呼ばれる。文脈付きバンディットは、効果が診療判断だけでなく、患者の特徴量にも依存する事例である。同じ診療判断でも受ける被験者によって診療判断の効果が異なる場合であり、このような場合に診療判断を個人毎に最適化することは医療の個別化（Precision Medicine）を実現することに等しい。逐次的意思決定は、各被験者の選択が複数回行われ、各選択が独立でない事例である。例えば、糖尿病患者の血糖値コントロールのために定期的に任意の量のインスリン（血糖値を下げるホルモン薬）を投与する場合を考える。この場合、今回のインスリン投与の結果として得られる血糖値は、投与前の血糖値に依存し、この投与前の血糖値は前回のインスリン投与の結果に依存する。このように、１回の意思決定の結果として観測された効果や新しい特徴量に基づき、次の意思決定を行うといったことを繰り返す問題が逐次的意思決定である。医療ではクリニカルパス（治療や検査の一連の順序や実施基準を定義したもの）や慢性期管理の判断を動的に最適化していくことに等しい。

（実施例２）
トンプソンサンプリングを基盤とした手法では、診療判断は確率的に決定されるために、主観的最適腕確率差の目標値が設定されていたとしても、それに近づけることは本来できない。実施例２は、診療判断の選択にある程度の猶予を持たせることで主観的最適腕確率差の目標値に近づけることを考える。

実施例２に係る処理回路１１は、逐次的意思決定において、上記の目標値の設定と行動の選択方法とを組み合わせた手法（ターゲティング）を実行する。実施例２では、主観的最適腕確率差に対する目標値が単一値で設定される。以下、実施例２に係る医用情報処理について説明する。実施例２に係る効果評価値も、実施例１と同様、主観的最適腕確率及び／又は主観的最適腕確率差であるとする。

図８は、実施例２に係る処理回路１１による割付処理の流れを示す図である。図９は、図８に示す医用情報処理を模式的に示す図である。図８に示すステップＳ１２１～Ｓ１２６は、図２に示すステップＳ１に含まれる。図８に示す医用情報処理は、図２において繰り返し行われる割付工程（Ｓ１）のうちの第ｎ回目の割付工程であるものとする。すなわち、既に同一又は他の被験者について診療判断の割付が複数回実施されているものとする。

まず、処理回路１１は、効果評価値取得機能１１６の実現により、診療判断毎に、主観的最適腕確率を算出する（ステップＳ１２１）。ステップＳ１２１はステップＳ１１１と同一である。

ステップＳ１２１が行われると処理回路１１は、割付決定機能１１８の実現により、バンディットアルゴリズムに従い、主観的最適腕確率に基づいて複数の割付候補を決定する（ステップＳ１２２）。ステップＳ１２２において処理回路１１は、まず、任意の分布から複数個の乱数を独立にサンプリングする。例えば、図９に示すように、診療判断Ａ及び診療判断Ｂの中から割付対象を決定する場合を考える。まず、複数個（図９において５個）の乱数が任意の確率分布からサンプリングされる。そして処理回路１１は、５個の乱数各々に基づいて所定のアルゴリズムに従い診療判断Ａ及び診療判断Ｂの中から割付候補を決定する。なお、所定のアルゴリズムは、確率的方策に限定されず、決定型方策でもよく、上記の方策アルゴリズムの中から任意に選択可能である。

ステップＳ１２２が行われると処理回路１１は、効果評価値取得機能１１６の実現により、各割付候補について主観的最適腕確率差を算出する（ステップＳ１２３）。主観的最適腕確率差の算出方法は実施例１と同様である。

ステップＳ１２３が行われると処理回路１１は、公平性指標値取得機能１１７の実現により、主観的最適腕確率差の目標値を設定する（ステップＳ１２４）。実施例２に係る目標値は単一値に設定される。ステップＳ１２４が行われると処理回路１１は、公平性指標値取得機能１１７の実現により、主観的最適腕確率差と目標値とに基づいて、公平性指標値を算出する（ステップＳ１２５）。

図１０は、目標値が単一値である場合の公平性指標値を示す図である。図１０に示すように、実施例２においては、主観的最適腕確率差の単一値に目標値が設定される。目標値には、公平である旨を表す公平性指標値「１」に設定される。目標値から離れるにつれて不公平である旨を表す「０」に近づくように連続的又は離散的に公平性指標値が設定される。

実施例２に係る処理回路１１は、「対象被験者の過去の診療判断に関する効果評価値」及び／又は「１人以上の対象被験者以外の被験者が選択した診療判断の効果評価値」に基づいて目標値を算出する。すなわち、目標値は、他の被験者の診療判断の選択に応じて変化し得るし、同一被験者であっても直前までの診療判断に選択に応じて変化し得る。

一例として、処理回路１１は、下記（３）式に従い、主観的最適腕確率差の被験者内平均の一次微分の指数移動平均に基づいて目標値Δｐ_{ｔａｒｇｅｔ}を更新する。Δｐ_eは被験者ｅの主観的最適腕確率差の平均値であり、Δｐ_e－１は被験者ｅ－１の主観的最適腕確率差の平均値である。被験者ｅ－１は被験者ｅの直前に診療判断の割付が行われた人物である。（３）式におけるβはモーメンタムを計算するためのハイパーパラメータである。（３）式によれば、対象被験者ｔａｒｇｅｔの目標値Δｐ_{ｔａｒｇｅｔ}は、被験者ｅの主観的最適腕確率差の平均値Δｐ_eと被験者ｅ－１の主観的最適腕確率差の平均値Δｐ_e－１とに基づいて更新される。

図１１は、単一の目標値による診療判断の割付方針の推移を示す図である。図１１では、患者３が診療判断の割付対象の被験者ｔａｒｇｅｔであり、２回目の診療判断Ｉ１の割付を決定する段階である。図１１の左図に示すように、患者１について１回目の診療判断の主観的最適腕確率差が「１０％」、２回目の診療判断の主観的最適腕確率差が「０％」、３回目の診療判断の主観的最適腕確率差が「２０％」であり、患者１の主観的最適腕確率差の平均値Δｐ_e－１は「１０％」であるとする。また、患者２について１回目の診療判断の主観的最適腕確率差が「３０％」、２回目の診療判断の主観的最適腕確率差が「１０％」、３回目の診療判断の主観的最適腕確率差が「２０％」であり、患者２の主観的最適腕確率差の平均値Δｐ_eは「２０％」であるとする。患者３について１回目の診療判断の主観的最適腕確率差が「０％」であり、患者３の主観的最適腕確率差の平均値は「０％」であるとする。この場合、上記（３）式に従えば、仮にハイパーパラメータβ＝０であるとすると、患者の目標値Δｐ_{ｔａｒｇｅｔ}は「３０％」になる。モデルは、患者３の２回目の診療判断Ｉ１として、主観的最適腕確率差が「６０％」である診療判断を選択することを目指すこととなる。しかしながら、主観的最適腕確率差が「６０％」の診療判断が存在しない場合もあるし、存在したとしても実際に患者Ｂがその診療判断を選択するとは限らない。

図１１の右図に示すように、患者３は２回目の診療判断として、主観的最適腕確率差が「４０％」である診療判断を選択したものとする。この場合、患者３の主観的最適腕確率差の平値は（０％＋４０％）／２＝２０％になる。モデルは、患者３の３回目の診療判断Ｉ２として、３回の診療判断の主観的最適腕確率差の平均値が目標値に一致するように、主観的最適腕確率差が「５０％」である診療判断を選択することを目指すこととなる。このように、逐次的意思決定問題においては、単一の目標値が設定されることにより、過去の自己の選択した診療判断の主観的最適腕確率差に応じて、今回の診療判断の割付方針が変化することとなる。これにより、最新の自己の選択に対して適応的に診療判断の割付がなされることとなる。

なお、上記の実施例のように、目標値は、他の被験者の主観的最適腕確率差の平均値に基づいて設定されるだけでなく、自己の主観的最適腕確率差の平均値のみ、又は自己の主観的最適腕確率差の平均値及び他の被験者の主観的最適腕確率差の平均値の双方に基づいて設定されてもよい。

ステップＳ１２５が行われると処理回路１１は、割付決定機能１１８の実現により、公平性指標値に基づいて、割付候補の中から、割付対象の診療判断を設定する（ステップＳ１２６）。

図１２は、割付対象の設定処理の具体例を示す図である。図１２に示すように、診療判断Ａの主観的最適腕確率が「６０％」、主観的最適腕確率差が「０％」であり、診療判断Ｂの主観的最適腕確率が「４０％」、主観的最適腕確率差が「２０％」であるとする。ステップＳ１２２においては、主観的最適腕確率に応じた割付確率（サンプリング確率）で診療判断Ａ及び診療判断Ｂが確率的に乱数の個数だけサンプリングされる。図１２の例においては、乱数が５個であるとすると、診療判断Ａと診療判断Ｂとが６：４の割合で５回サンプリングされ、５個の割付候補が得られることとなる。ステップＳ１２６において割付候補の中から公平性指標値が最良になる割付候補が割付対象に設定される。

ここで主観的最適腕確率差の目標平均値が「１０％」であり、過去２回の選択に関する主観的最適腕確率差の平均値が「０％」であれば、過去２回と今回とを含めた３回の選択に関する主観的最適腕確率差の平均値が目標平均値である「１０％」に近づくためには、主観的最適腕確率差が「３０％」の診療判断を割付対象に設定するのが理想である。この場合、目標値は「３０％」に設定される。処理回路１１は、各割付候補について目標値と主観的最適腕確率差との差分に基づいて公平性指標値を算出する。公平性指標値は、例えば、不公平であることを表す最大値「１」から公平であることを表す最小値「０」までの範囲をとり、差分値が小さくなるにつれて最小値「０」に近くなるように設定される。割付候補Ａは主観的最適腕確率差が「０％」であるので公平性指標値「０．３」であるとし、割付候補Ｂは主観的最適腕確率差が「２０％」であるので公平性指標値「０．１」であるとする。よって割付候補Ｂが割付候補Ａに比して公平性指標値が小さいので割付候補Ｂが割付対象に設定される。

図１３は、割付対象の設定処理の他の具体例を示す図である。図１３に示すように、診療判断Ａの主観的最適腕確率が「９０％」、主観的最適腕確率差が「０％」であり、診療判断Ｂの主観的最適腕確率が「１０％」、主観的最適腕確率差が「８０％」であるとする。図１３の例においては、診療判断Ａと診療判断Ｂとが９：１の割合で５回サンプリングされ、５個の割付候補が得られることとなる。ここで主観的最適腕確率差の目標平均値が「４０％」であり、過去２回の選択に関する主観的最適腕確率差の平均値が「０％」であれば、３回の選択に関する主観的最適腕確率差の平均値が目標平均値である「４０％」に近づくために、主観的最適腕確率差が「１２０％」の診療判断を割付対象に設定するのが理想である。ここで診療判断Ａと診療判断Ｂとのうち主観的最適腕確率差が「１２０％」に近いのは診療判断Ｂであるが、診療判断Ｂは割付候補としてサンプリングされていないので、処理回路１１は、診療判断Ａを割付対象に設定する。

以上により、実施例２に係る割付処理が終了する。

上記の通り、実施例２に係る処理回路１１は、処理回路１１は、複数の診療判断の中から、所定の確率分布に従い複数の乱数を決定し、決定された複数の乱数に基づいて所定の方策に従い確率的に複数の割付候補を決定する。処理回路１１は、複数の割付候補の間での公平性指標値の比較に基づいて割付対象の診療判断を決定する。より詳細には、処理回路１１は、複数の割付候補の中から最も公平性指標値が良い割付候補を割付対象に設定する。実施例２に係る手法によれば、診療判断が確率的に決定されるバンディットアルゴリズムを基盤にしつつも、複数の割付候補をサンプリングすることにより、主観的最適腕確率差の目標値に近い診療判断を選択する可能性を高めることが可能になる。また、実施例２に係る手法によれば、目標値を「対象被験者の過去の効果評価値」及び／又は「１人以上の対象被験者以外の被験者が選択した診療判断の効果評価値」に基づいて算出しているので、逐次的意思決定問題にも適用可能である。

（その他）
上記の実施例１及び実施例２は、本実施形態に係る医用情報処理の一実施例であって、本実施形態に係る医用情報処理の工程はこれに限定されない。本実施形態に係る医用情報処理装置は、効果評価値と公平性指標値とに基づいて割付対象の診療判断を決定するものであれば、如何なる工程を経たものも含むものとする。

上記の幾つかの実施例において処理回路１１は、効果評価値取得機能１１６の実現により、効果評価値を算出するものとした。しかしながら、本実施形態はこれに限定されない。例えば、効果評価値が医用情報処理装置１とは異なるコンピュータにより算出され、処理回路１１は、当該コンピュータから効果評価値を取得してもよい。あるいは、処理回路１１は、効果評価値を保存・管理するデータベースから効果評価値を取得してもよい。

上記の幾つかの実施例において処理回路１１は、公平性指標値取得機能１１７の実現により、公平性指標値を算出するものとした。しかしながら、本実施形態はこれに限定されない。例えば、公平性指標値が医用情報処理装置１とは異なるコンピュータにより算出され、処理回路１１は、当該コンピュータから公平性指標値を取得してもよい。あるいは、処理回路１１は、公平性指標値を保存・管理するデータベースから公平性指標値を取得してもよい。

効果が診療判断だけでなく被験者の属性や状態等の特徴量に依存する場合、特徴量毎に別々に効果評価値を算出したり、特徴量と効果との関係性を表すモデル式で効果評価値を算出したりしてもよい。これにより文脈付きバンディットや逐次的意思決定に適用することができる。例えば、ＰＳＲＬやＢＤＱＮ、ＳＡＣ（Soft Actor Critic）等の手法を用いることで、効果の推定値であったとしても主観的最適腕確率を算出することが可能になる。

（総括）
上記の幾つかの実施例によれば、本実施形態に係る医用情報処理装置１は、処理回路１１を有する。処理回路１１は、複数の診療判断に関する効果評価値を取得し、複数の診療判断に関する公平性指標値を取得し、効果評価値と公平性指標値とに基づいて対象被験者に対して割り付ける診療判断を決定する。

上記の構成によれば、効果評価値だけでなく公平性指標値を利用して割付対象の診療判断を決定することが可能になる。これにより、複数の被験者に対して公平に探索行動を選択させることができる。

以上説明した少なくとも１つの実施形態によれば被験者全体の利益の大きさを維持しつつ、診療判断の割付に関する被験者間の不公平性を低減することができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更、実施形態同士の組み合わせを行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 医用情報処理装置
１１ 処理回路
１２ 記憶装置
１３ 入力機器
１４ 通信機器
１５ 表示機器
１１１ 割付機能
１１２ 観測機能
１１３ 蓄積機能
１１４ 更新機能
１１５ 表示制御機能
１１６ 効果評価値取得機能
１１７ 公平性指標値取得機能
１１８ 割付決定機能

Claims (11)

1. 複数の診療判断に関する効果評価値を取得する第１の取得部と、
   前記複数の診療判断に関する公平性指標値を取得する第２の取得部と、
   前記効果評価値と前記公平性指標値とに基づいて対象被験者に対して割り付ける診療判断を決定する決定部と、
   を具備する医用情報処理装置。
2. 前記公平性指標値は、前記効果評価値に基づく値であり、
   前記第２の取得部は、前記効果評価値に基づいて前記公平性指標値を算出する、
   請求項１記載の医用情報処理装置。
3. 前記公平性指標値は、前記効果評価値と前記被験者毎に設定される前記効果評価値に対する目標値とに基づく値であり、
   前記第２の取得部は、前記効果評価値と前記目標値とに基づいて前記公平性指標値を算出する、
   請求項２記載の医用情報処理装置。
4. 前記第２の取得部は、前記対象被験者の過去の診療判断に関する効果評価値に基づいて前記目標値を設定する、請求項３記載の医用情報処理装置。
5. 前記第２の取得部は、前記対象被験者以外の被験者が選択した診療判断に関する効果評価値に基づいて前記目標値を設定する、請求項３記載の医用情報処理装置。
6. 前記決定部は、前記複数の診療判断各々の前記効果評価値に基づいて前記複数の診療判断の中から割付候補を決定し、前記割付候補の前記公平性指標値に基づいて前記割り付ける診療判断を決定する、請求項１記載の医用情報処理装置。
7. 前記決定部は、前記割付候補に関する公平性指標値が所定条件を満たす場合、前記割付候補を前記割り付ける診療判断を決定する、請求項６記載の医用情報処理装置。
8. 前記決定部は、前記複数の診療判断の中から、複数の乱数に基づいて所定の方策に従い確率的に複数の割付候補をサンプリングし、前記複数の割付候補の前記公平性指標値に基づいて前記割り付ける診療判断を決定する、請求項１記載の医用情報処理装置。
9. 前記決定部は、前記割付候補の間での公平性指標値の比較に基づいて前記割り付ける診療判断を決定する、請求項８記載の医用情報処理装置。
10. プロセッサが、
    複数の診療判断に関する効果評価値を取得し、
    前記複数の診療判断に関する公平性指標値を取得し、
    前記効果評価値と前記公平性指標値とに基づいて対象被験者に対して割り付ける診療判断を決定する、
    ことを具備する医用情報処理方法。
11. コンピュータに、
    複数の診療判断に関する効果評価値を取得させる機能と、
    前記複数の診療判断に関する公平性指標値を取得させる機能と、
    前記効果評価値と前記公平性指標値とに基づいて対象被験者に対して割り付ける診療判断を決定させる機能と、
    を実現させる医用情報処理プログラム。