JP7707053B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本開示は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来、ＣＴ(Computed Tomography)装置及びＭＲＩ（Magnetic Resonance Imaging）装置等の撮影装置により得られる医用画像を用いての画像診断が行われている。また、ディープラーニング等により学習がなされた判別器を用いたＣＡＤ（Computer Aided Detection/Diagnosis）により医用画像を解析して、医用画像に含まれる構造物及び病変等を含む関心領域を検出及び／又は診断することが行われている。医用画像及びＣＡＤによる解析結果は、医用画像の読影を行う読影医等の医療従事者の端末に送信される。読影医等の医療従事者は、自身の端末を用いて医用画像及び解析結果を参照して医用画像の読影を行い、読影レポートを作成する。

また、読影医の読影業務の負担を軽減するために、読影レポートの作成を支援する各種手法が提案されている。例えば特許文献１には、読影医が入力したキーワード及び医用画像の解析結果に基づいて、読影レポートを作成する技術が開示されている。特許文献１に記載の技術では、入力された文字から文章を生成するように学習が行われたリカレントニューラルネットワークを用いて、読影レポートに記載するための文章が作成される。

また、読影レポートのような自然言語を用いた文の内容を解析する各種手法が提案されている。例えば非特許文献１には、文中の固有表現を抽出するモデルの学習方法として、「蒸留（Distillation）」を用いた方法が開示されている。「蒸留」とは、未学習のモデル（所謂「生徒モデル」）を学習させる場合に、学習済モデル（所謂「教師モデル」）の出力に生徒モデルの出力を近づける学習方法である。非特許文献１に記載の技術では、それぞれが異なるソース言語に関する複数の学習済モデルを教師モデルとしたアンサンブル学習によって、ターゲット言語に関する未学習のモデル（生徒モデル）が学習される。また、アンサンブル学習において、ソース言語とターゲット言語との言語的類似度に応じた重みを用いることが開示されている。

特開２０１９－１５３２５０号公報

"Single-/Multi-Source Cross-Lingual NER via Teacher-Student Learning on Unlabeled Data in Target Language", Qianhui Wu et al., in ACL(Association for Computational Linguistics), 2020

蒸留を用いたモデルの学習方法では、教師モデルの出力に基づいて生徒モデルの学習が行われるため、生徒モデルの性能は教師モデルの性能に依存する。したがって例えば、出力が不適切な教師モデルがある場合、蒸留を用いた学習を行っても所望の性能を有する生徒モデルが得られない場合があった。

本開示は、良好な性能を有する学習モデルを得られる情報処理装置、情報処理方法及び情報処理プログラムを提供する。

本開示の第１の態様は、情報処理装置であって、少なくとも１つのプロセッサを備え、プロセッサは、学習済みの教師モデルの学習に用いられた学習用データと、予め定められたサンプルデータと、に基づいて教師モデルの信頼度を導出し、サンプルデータを教師モデルに入力して得られる出力データと、信頼度と、に基づいて出力ターゲットを導出し、サンプルデータを生徒モデルに入力して得られる出力データが、出力ターゲットに近づくよう生徒モデルを学習させる。

上記第１の態様において、プロセッサは、互いに異なる複数の教師モデルのそれぞれについて信頼度を導出し、サンプルデータを複数の教師モデルのそれぞれに入力して得られる複数の出力データに対する信頼度に応じた重み付き平均を、出力ターゲットとして導出してもよい。

上記第１の態様において、プロセッサは、学習用データとサンプルデータとの類似度に基づいて、信頼度を導出してもよい。

上記第１の態様において、プロセッサは、学習用データが複数ある場合、学習用データごとにサンプルデータとの類似度を導出し、学習用データごとに導出された全ての類似度の平均に基づいて、信頼度を導出してもよい。

上記第１の態様において、プロセッサは、学習用データが複数ある場合、学習用データごとにサンプルデータとの類似度を導出し、学習用データごとに導出された全ての類似度のうち、類似度が高い方から順に予め定められた数だけ選択される類似度の平均に基づいて、信頼度を導出してもよい。

上記第１の態様において、学習用データは、学習用入力データと、当該学習用入力データが教師モデルに入力された場合の出力データとしての学習用正解データと、の組合せを含み、プロセッサは、学習用入力データを教師モデルに入力して得られる出力データの、学習用正解データに対する誤差の大きさを表す損失値に基づいて、信頼度を導出してもよい。

上記第１の態様において、プロセッサは、評価用入力データと、当該評価用入力データが教師モデルに入力された場合の出力データとしての評価用正解データと、の組合せを含む評価用データに含まれる評価用入力データを教師モデルに入力して得られる出力データの、評価用正解データに対する一致度合を表す評価値に基づいて、信頼度を導出してもよい。

上記第１の態様において、プロセッサは、サンプルデータを生徒モデルに入力して得られる出力データの、出力ターゲットに対する誤差の大きさを表す損失値を最小化するよう生徒モデルを学習させてもよい。

上記第１の態様において、プロセッサは、損失値を、交差エントロピー、カルバック・ライブラー情報量及び平均二乗誤差の少なくとも１つの尺度を用いて導出してもよい。

上記第１の態様において、教師モデル及び生徒モデルは、入力をテキストデータとし、出力をテキストデータに含まれる文字ごとの分類とするモデルであり、学習用データは、テキストデータと、当該テキストデータに含まれる文字ごとの分類と、の組合せを含み、サンプルデータは、テキストデータを含むものであってもよい。

上記第１の態様において、プロセッサは、学習用データに含まれるテキストデータと、サンプルデータに含まれるテキストデータと、の意味、構造及び出現単語の少なくとも１つに関する類似度に基づいて、信頼度を導出してもよい。

上記第１の態様において、教師モデル及び生徒モデルは、入力をテキストデータとし、出力をテキストデータに含まれる文字ごとに付与される、当該文字が表す固有表現の種類を示すＮＥラベルの確率分布とするモデルであり、プロセッサは、サンプルデータを教師モデルに入力して得られるＮＥラベルの確率分布と、信頼度と、に基づいて出力ターゲットを導出し、サンプルデータを生徒モデルに入力して得られるＮＥラベルの確率分布が、出力ターゲットに近づくよう生徒モデルを学習させてもよい。

上記第１の態様において、教師モデル及び生徒モデルは、入力をテキストデータとし、出力をテキストデータに含まれる文字ごとに付与される、当該文字が固有表現の開始位置、内部位置及び外部位置の何れに相当するかを示すＢＩＯラベルの確率分布とするモデルであり、プロセッサは、サンプルデータを教師モデルに入力して得られるＢＩＯラベルの確率分布と、信頼度と、に基づいて出力ターゲットを導出し、サンプルデータを生徒モデルに入力して得られるＢＩＯラベルの確率分布が、出力ターゲットに近づくよう生徒モデルを学習させてもよい。

本開示の第２の態様は、情報処理方法であって、学習済みの教師モデルの学習に用いられた学習用データと、予め定められたサンプルデータと、に基づいて教師モデルの信頼度を導出し、サンプルデータを教師モデルに入力して得られる出力データと、信頼度と、に基づいて出力ターゲットを導出し、サンプルデータを生徒モデルに入力して得られる出力データが、出力ターゲットに近づくよう生徒モデルを学習させる処理を含む。

本開示の第３の態様は、情報処理プログラムであって、学習済みの教師モデルの学習に用いられた学習用データと、予め定められたサンプルデータと、に基づいて教師モデルの信頼度を導出し、サンプルデータを教師モデルに入力して得られる出力データと、信頼度と、に基づいて出力ターゲットを導出し、サンプルデータを生徒モデルに入力して得られる出力データが、出力ターゲットに近づくよう生徒モデルを学習させる処理をコンピュータに実行させるためのものである。

上記態様によれば、本開示の情報処理装置、情報処理方法及び情報処理プログラムは、良好な性能を有する学習モデルを得られる。

情報処理システムの概略構成図である。 情報処理装置のハードウェア構成の一例を示すブロック図である。 固有表現抽出モデルを説明するための図である。 固有表現抽出モデルを説明するための図である。 蒸留を用いたモデルの学習方法を説明するための図である。 情報処理装置の機能的な構成の一例を示すブロック図である。 情報処理装置の機能を説明するための図である。 サンプルデータ及び学習用データの一例を示す図である。 サンプルデータ及び学習用データの類似度を説明するための図である。 生徒モデルの学習について説明するための図である。 情報処理の一例を示すフローチャートである。 生徒モデルの学習について説明するための図である。

以下、図面を参照して、本開示の技術を実施するための形態例を詳細に説明する。まず、図１を参照して、本実施形態に係る情報処理システム１の構成の一例について説明する。図１に示すように、情報処理システム１は、情報処理装置１０と、レポートサーバ７と、レポートＤＢ８と、を含む。情報処理装置１０とレポートサーバ７は、ＬＡＮ（Local Area Network）及びＷＡＮ（Wide Area Network）等の有線又は無線のネットワーク９により互いに通信可能な状態で接続されている。

レポートサーバ７は、汎用のコンピュータにデータベース管理システムの機能を提供するソフトウェアプログラムがインストールされたものである。レポートサーバ７は、レポートＤＢ８と接続される。なお、レポートサーバ７とレポートＤＢ８との接続形態は特に限定されず、データバスによって接続される形態でもよいし、ＮＡＳ（Network Attached Storage）及びＳＡＮ（Storage Area Network）等のネットワークを介して接続される形態でもよい。

レポートＤＢ８は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。レポートＤＢ８には、例えば、医用画像に関する所見文を含む読影レポートが記録される。レポートＤＢ８に記録される読影レポートは、ユーザによって入力された所見文を含んでいてもよいし、コンピュータにより生成された所見文を含んでいてもよい。例えば、入力を医用画像とし、出力を医用画像に含まれる病変等の異常陰影に関する所見文とするよう予め学習された、ＣＮＮ（Convolutional Neural Network）等の学習済モデルによって生成された所見文を含んでいてもよい。また例えば、予め定められたテンプレートを用いて生成された所見文を含んでいてもよい。

情報処理装置１０は、読影レポートに含まれる固有表現を抽出するための学習モデルを学習させることにより、良好な性能を有する学習モデルを得る。以下、本実施形態に係る情報処理装置１０の構成の一例について説明する。

まず、図２を参照して、本実施形態に係る情報処理装置１０のハードウェア構成の一例を説明する。図２に示すように、情報処理装置１０は、ＣＰＵ（Central Processing Unit）２１、不揮発性の記憶部２２、及び一時記憶領域としてのメモリ２３を含む。また、情報処理装置１０は、液晶ディスプレイ等のディスプレイ２４、キーボード及びマウス等の入力部２５、並びにネットワークＩ／Ｆ（Interface）２６を含む。ネットワークＩ／Ｆ２６は、ネットワーク９に接続され、有線又は無線通信を行う。ＣＰＵ２１、記憶部２２、メモリ２３、ディスプレイ２４、入力部２５及びネットワークＩ／Ｆ２６は、システムバス及びコントロールバス等のバス２８を介して相互に各種情報の授受が可能に接続されている。

記憶部２２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）及びフラッシュメモリ等の記憶媒体によって実現される。記憶部２２には、情報処理装置１０における情報処理プログラム２７と、複数の固有表現抽出モデルＭと、が記憶される。ＣＰＵ２１は、記憶部２２から情報処理プログラム２７を読み出してからメモリ２３に展開し、展開した情報処理プログラム２７を実行する。ＣＰＵ２１が本開示のプロセッサの一例である。情報処理装置１０としては、例えば、パーソナルコンピュータ及びサーバコンピュータ等の各種コンピュータを適用できる。

図３及び図４を参照して、本実施形態に係る固有表現抽出モデルＭについて説明する。図３及び図４は固有表現抽出モデルＭの構成、並びに入力及び出力の一例を示す図である。図３に示すように、固有表現抽出モデルＭは、入力を、文字列を含むテキストデータとし、出力をテキストデータに含まれる文字（トークン）ごとの分類を示すＮＥＲ（Named Entity Recognition）ラベルの確率分布とするモデルである。また、固有表現抽出モデルＭは、エンコーダ４０及びデコーダ４２を備える。

具体的には、図３に示すように、固有表現抽出モデルＭの入力系列Ｘは、ｍ個の文字ｘ_ｉ（ｍは２以上の整数、ｉは１～ｍ）からなるテキストデータである。エンコーダ４０は、例えばＢＥＲＴ（Bidirectional Encoder Representations from Transformers）及びＬＳＴＭ（Long Short Term Memory）等の自然言語処理モデルを含んで構成され、入力系列Ｘから分散表現を得る。

図４は、図３の一部を示し、入力系列Ｘのうちの１つの文字ｘ_５に対応するＮＥＲラベルの確率分布Ｐ（ｙ_５）を示す図である。デコーダ４２は、例えば全結合層を備え、エンコーダ４０から出力された文字ｘ_ｉごとの分散表現に基づき、文字ｘ_ｉごとのＮＥＲラベルの確率分布Ｐ（ｙ_ｉ）を出力する。確率分布Ｐ（ｙ_ｉ）は、ＮＥＲラベルがｚ種類（ｚは２以上の整数）だけ用意されている場合、ｚ種類のＮＥＲラベルのそれぞれに対する確率を示す。

ＮＥＲラベルは、文字ｘ_ｉが表す固有表現の種類を示すＮＥ（Named Entity）ラベルと、文字ｘ_ｉが固有表現の開始位置（Begin）、内部位置（Inside）及び外部位置（Other）の何れに相当するかを示すＢＩＯラベルと、の組合せを示すラベルである。ＮＥラベルによって文字ｘ_ｉが表す固有表現の種類（例えば「区域」、「数値」及び「病変」等）が分かり、ＢＩＯラベルによって固有表現の区切りが分かる。

なお、図３では分かりやすさのため、確率分布Ｐ（ｙ_ｉ）に基づいて選択される１種類のＮＥＲラベルｙ_ｉのみ図示している。例えば、図４の確率分布Ｐ（ｙ_５）の場合、「Ｂ数値」のＮＥＲラベルの確率が最も高いため、文字ｘ_５に対応するＮＥＲラベルｙ_５として「Ｂ数値」を示している。

また、図３では、入力系列Ｘの先頭に［ＣＬＳ］という文頭を表すスペシャルトークンを挿入し、末尾に文の区切りを表す［ＳＥＰ］というスペシャルトークンを挿入している。［ＣＬＳ］に対しては文頭を表す「ＢＯＳ（Beginning Of Sentence）」というＮＥＲラベルが、［ＳＥＰ］に対しては文末を表す「ＥＯＳ（End Of Sentence）」というＮＥＲラベルが出力される。

固有表現抽出モデルＭの学習は、学習用入力データと、当該学習用入力データが固有表現抽出モデルＭに入力された場合の出力データとしての学習用正解データと、の組合せを含む学習用データＤに基づいて行われる。すなわち学習用データＤは、所謂ラベルありデータである。具体的には、学習用入力データは、入力系列Ｘと同様のテキストデータである。学習用正解データは、出力系列Ｙと同様の、テキストデータに含まれる文字ごとの分類を示すＮＥＲラベルである。

固有表現抽出モデルＭの入力系列Ｘ、出力系列Ｙ、及び学習用データＤは、例えば下記のように表される。なお、（１）式～（３）式では、学習用入力データをＸとし、学習用正解データをＹとしている。

学習用データＤに基づく固有表現抽出モデルＭの学習は、公知の損失関数を用いた手法で行われる。損失関数の一例として、負の対数尤度関数Ｌ_ＮＬＬを下記に示す。負の対数尤度関数Ｌ_ＮＬＬを最小化するように、固有表現抽出モデルＭの学習が行われる。

記憶部２２には、学習済みの複数の固有表現抽出モデルＭが、学習に用いられた学習用データＤと対応付けられて記憶されている。記憶部２２に記憶されている複数の固有表現抽出モデルＭは何れも、入力をテキストデータとし、出力をＮＥＲラベルの確率分布とするモデルである。しかし、学習用データＤの内容が異なっていたり、パラメータが異なっていたりすることにより、複数の固有表現抽出モデルＭのそれぞれに同一の入力系列Ｘを入力しても、それぞれ異なる出力系列Ｙが得られる場合がある。

図５を参照して、「蒸留（Distillation）」を用いた固有表現抽出モデルＭの学習方法の概略について説明する。「蒸留」とは、未学習の固有表現抽出モデルＭ（以下「生徒モデル」という）を学習させる場合に、学習済みの固有表現抽出モデルＭ（以下「教師モデル」という）の出力に生徒モデルの出力を近づける学習方法である。

例えば図５において、学習済みの固有表現抽出モデルＭ０１～Ｍ０ｎ０（ｎ０は２以上）を教師モデルとし、未学習の固有表現抽出モデルＭ１１を生徒モデルとする場合について説明する。まず、予め定められたサンプルデータが固有表現抽出モデルＭ０１～Ｍ０ｎ０のそれぞれに入力されることによって、それぞれの固有表現抽出モデルＭ０１～Ｍ０ｎ０から出力データが得られる。同様に、サンプルデータが学習対象の固有表現抽出モデルＭ１１に入力されることによって、固有表現抽出モデルＭ１１から出力データが得られる。なお、各固有表現抽出モデルＭ０１～Ｍ０ｎ０及びＭ１１に入力されるサンプルデータは、同一のものである。

次に、固有表現抽出モデルＭ０１～Ｍ０ｎ０の出力データに基づき、固有表現抽出モデルＭ１１の学習に用いられる出力ターゲットが導出され、出力ターゲットに固有表現抽出モデルＭ１１の出力データが近づくよう、固有表現抽出モデルＭ１１の学習が行われる。このようにして学習される固有表現抽出モデルＭ１１からは、固有表現抽出モデルＭ０１～Ｍ０ｎ０のそれぞれで生じ得る出力データのばらつきが抑制された、良好な出力データが出力されることを期待できる。なお、固有表現抽出モデルＭ１１に対しては、サンプルデータを用いた学習の他に、固有表現抽出モデルＭ１１用に予め用意された学習用データＤに基づく通常の学習も行われる。

固有表現抽出モデルＭ１１の学習と同様にして、固有表現抽出モデルＭ０１～Ｍ０ｎ０の出力データに基づき、固有表現抽出モデルＭ１２～Ｍ１ｎ１（ｎ１は２以上）の学習も行われる。固有表現抽出モデルＭ１２～Ｍ１ｎ１は、固有表現抽出モデルＭ１１とは学習用データＤ及びパラメータ等が異なっていてもよい。

その後、学習後の固有表現抽出モデルＭ１１～Ｍ１ｎ１を次世代の教師モデルとし、新たな学習対象の固有表現抽出モデルＭ２１～Ｍ２ｎ２（ｎ２は２以上）を生徒モデルとして、学習が繰り返される。このように、学習後の生徒モデルを次世代の教師モデルとして、生徒モデルの学習を繰り返す「蒸留」を用いたモデルの学習方法によれば、世代を経るにつれてより高性能な固有表現抽出モデルＭを得ることが期待できる。

次に、図６～図１０を参照して、本実施形態に係る情報処理装置１０の機能的な構成の一例について説明する。図６に示すように、情報処理装置１０は、取得部３０、導出部３２、学習部３４及び制御部３６を含む。ＣＰＵ２１が情報処理プログラム２７を実行することにより、取得部３０、導出部３２、学習部３４及び制御部３６として機能する。以下、図７に示すように、複数の教師モデルＭＴ１～ＭＴｎ（ｎは２以上）に基づき、生徒モデルＭＳの学習を行う形態例について説明する。教師モデルＭＴ１～ＭＴｎ及び生徒モデルＭＳは、記憶部２２に記憶された固有表現抽出モデルＭである。

取得部３０は、学習済みの教師モデルＭＴ１～ＭＴｎの学習に用いられた学習用データＤ_１～Ｄ_ｎと、予め定められたサンプルデータＵと、を取得する。一例として、図８に学習用データＤ_１及びＤ_２に含まれる学習用入力データＸ_１及びＸ_２と、サンプルデータＵと、を示す。学習用データＤ_１～Ｄ_ｎは、教師モデルＭＴ１～ＭＴｎに対応付けられて記憶部２２に記憶されている。以下の説明において、教師モデルＭＴ１～ＭＴｎ、学習用データＤ_１～Ｄ_ｎ、及び学習用入力データＸ_１～Ｘ_ｎをそれぞれ区別しない場合は、単に、教師モデルＭＴ、学習用データＤ、及び学習用入力データＸという。

サンプルデータＵは、学習用データＤに含まれる学習用入力データＸと同形式のデータ（例えばテキストデータ）を含み、例えば下記のように表される。サンプルデータＵは、正解データを含まない所謂ラベルなしデータである。（５）式において、ｌは２以上の整数であり、ｊは１～ｌである。

導出部３２は、取得部３０により取得された学習用データＤと、サンプルデータＵと、に基づいて教師モデルＭＴの信頼度ｗを導出する。具体的には、導出部３２は、学習用データＤに含まれる学習用入力データＸと、サンプルデータＵとの類似度ｓを導出し、類似度ｓに基づいて信頼度ｗを導出する。類似度ｓとは、学習用入力データＸ及びサンプルデータＵがテキストデータである場合、例えばテキストデータ間の意味、構造及び出現単語の少なくとも１つに関する類似度であってもよい。

一例として、図９を参照して、テキストデータ間の意味的な類似度ｓをＢＥＲＴＳｃｏｒｅを用いて導出する方法について説明する。図９は、ｋ番目の教師モデルＭＴｋ（ｋは１～ｎ）の学習に用いられた学習用データＤ_ｋに含まれる学習用入力データＸ_ｋと、サンプルデータＵと、の文字ごとのコサイン類似度を示す行列である。コサイン類似度は、１に近いほど類似度が大きく、０に近いほど類似度が小さいことを意味し、例えば、ＢＥＲＴを用いて導出される２つのテキストデータのそれぞれに関する分散表現に基づいて導出できる。

類似度ｓ_ｋは、学習用入力データＸ_ｋと、サンプルデータＵと、を用いた下記Ｓｃｏｒｅ関数で導出される。Ｓｃｏｒｅ関数としては、下記（７）式～（９）式のうち少なくとも１つを適用でき、これらを適宜組み合わせてもよい。（７）式～（９）式は公知のＢＥＲＴＳｃｏｒｅである（例えば下記文献参照。"BERTScore: Evaluating Text Generation with BERT", Tianyi Zhang et al., in ICLR(International Conference on Learning Representations), 2020）。

Ｒ_ＢＥＲＴは再現率を表す式であり、サンプルデータＵから学習用入力データＸ_ｋに対するコサイン類似度の最大値（図９において背景色を変更した値）を用いて算出される。図９の例におけるＲ_ＢＥＲＴは以下のように算出される。
Ｒ_ＢＥＲＴ＝（0.8＋0.9＋0.2＋0.7＋0.9＋0.6＋0.5）／7＝0.657

Ｑ_ＢＥＲＴは適合率を表す式であり、学習用入力データＸ_ｋからサンプルデータＵに対するコサイン類似度の最大値（図９において太枠で囲った値）を用いて算出される。図９の例におけるＱ_ＢＥＲＴは以下のように算出される。
Ｑ_ＢＥＲＴ＝（0.8＋0.9＋0.8＋0.9＋0.4＋0.3＋0.6＋0.5）／8＝0.650

Ｆ_ＢＥＲＴはＦ値を表す式であり、Ｒ_ＢＥＲＴ（再現率）とＱ_ＢＥＲＴ（適合率）の調和平均である。図９の例におけるＦ_ＢＥＲＴは以下のように算出される。
Ｆ_ＢＥＲＴ＝2×（0.650×0.657）／（0.650＋0.657）＝0.653

導出部３２は、上記の類似度ｓ_ｋの導出を、全ての教師モデルＭＴ１～ＭＴｎに関して行う。その後、導出部３２は、教師モデルＭＴ１～ＭＴｎの各々に関する類似度ｓ_１～ｓ_ｎについて、Ｓｏｆｔｍａｘ関数を用いて０から１の範囲に正規化する。この正規化後の類似度ｓ_１～ｓ_ｎが、教師モデルＭＴ１～ＭＴｎの各々に関する信頼度ｗ_１～ｗ_ｎである。このようにして、導出部３２は、互いに異なる複数の教師モデルＭＴ１～ＭＴｎのそれぞれについて信頼度ｗ_１～ｗ_ｎを導出する。

各教師モデルＭＴ１～ＭＴｎに関する類似度ｓ_１～ｓ_ｎ及び信頼度ｗ_１～ｗ_ｎは、下記のように表される。

なお、サンプルデータＵは１つのテキストデータであるが、学習用データＤ_ｋは１つの教師モデルＭＴｋに関して複数あってもよい。この場合、導出部３２は、複数の学習用データＤ_ｋごとにサンプルデータＵとの類似度ｓを導出し、その少なくとも１つに基づいて、信頼度ｗ_ｋを導出してもよい。例えば、導出部３２は、学習用データＤ_ｋごとに導出された全ての類似度ｓの平均値、中央値、最大値及び最小値等の各種代表値を、信頼度ｗ_ｋの導出に用いる類似度ｓ_ｋとしてもよい。また例えば、導出部３２は、学習用データＤ_ｋごとに導出された全ての類似度ｓのうち、類似度ｓが高い方から順に予め定められた数だけ選択される類似度ｓの平均値を、信頼度ｗ_ｋの導出に用いる類似度ｓ_ｋとしてもよい。「予め定められた数」とは、例えば、データ数（例えば１０個分等）で定められてもよいし、割合（例えば上位５割等）で定められてもよい。

次に、導出部３２は、生徒モデルＭＳの出力データ（ＮＥＲラベルの確率分布Ｐ_Ｓ）を近づける目標である出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）を導出する。具体的には、図７に示すように、導出部３２は、サンプルデータＵを教師モデルＭＴ１～ＭＴｎのそれぞれに入力して得られる出力データである確率分布Ｐ_１（ｙ_ｊ）～Ｐ_ｎ（ｙ_ｊ）と、信頼度ｗ_１～ｗ_ｎと、に基づいて出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）を導出する。

出力ターゲットＰ_ＴＧＴ（ｙ_ｊ＝ａ｜Ｕ）は下記のように表される。（１２）式におけるＰ_ｋ（ｙ_ｊ＝ａ｜Ｕ）の部分は、教師モデルＭＴｋにサンプルデータＵを入力した場合に、ｊ番目の文字ｕ_ｊに対してあるＮＥＲラベルａが出力される確率を示す。導出部３２は、出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）として、サンプルデータＵを複数の教師モデルＭＴ１～ＭＴｎのそれぞれに入力して得られる複数の出力データである確率分布Ｐ_１（ｙ_ｊ）～Ｐ_ｎ（ｙ_ｊ）に対する信頼度ｗ_１～ｗ_ｎに応じた重み付き平均を導出する。

学習部３４は、サンプルデータＵを生徒モデルＭＳに入力して得られる出力データである確率分布Ｐ_Ｓ（ｙ_ｊ）が、導出部３２により導出された出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）に近づくよう生徒モデルを学習させる。図１０に、サンプルデータＵのうちの１つの文字ｕ_５に対応する、出力ターゲットＰ_ＴＧＴ（ｙ_５）と、生徒モデルＭＳの出力データである確率分布Ｐ_Ｓ（ｙ_５）と、の一例を示す。生徒モデルＭＳの確率分布Ｐ_Ｓ（ｙ_５）（図１０の右側）を、出力ターゲットＰ_ＴＧＴ（ｙ_５）（図１０の左側）に近づかせるためには、確率分布Ｐ_Ｓ（ｙ_５）と出力ターゲットＰ_ＴＧＴ（ｙ_５）との誤差を小さくすればよい。

そこで学習部３４は、サンプルデータＵを生徒モデルＭＳに入力して得られる出力データである確率分布Ｐ_Ｓ（ｙ_ｊ）の、出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）に対する誤差の大きさを表す損失値を最小化するよう生徒モデルＭＳを学習させる。損失値は、例えば、交差エントロピー（Cross Entropy）、カルバック・ライブラー情報量（Kullback-Leibler divergence）及び平均二乗誤差（Mean Squared Error）の少なくとも１つの尺度を用いて導出できる。

損失値の一例として、交差エントロピー損失Ｌ_ＣＥを下記に表す。（１３）式において、ｚはＮＥＲラベルの種類数を示す。

また、学習部３４は、生徒モデルＭＳについて予め用意された学習用データＤ_Ｓに基づく学習を行ってもよい。学習用データＤ_Ｓに基づく学習は、（４）式に示すような公知の損失関数を用いた手法で行ってもよい。

制御部３６は、上記の取得部３０、導出部３２及び学習部３４による処理を繰り返すよう制御することによって、固有表現抽出モデルＭの蒸留を行う。具体的には、制御部３６は、学習部３４による生徒モデルＭＳの学習が完了すると、当該生徒モデルＭＳを次世代の教師モデルＭＴとして用いて次世代の生徒モデルＭＳの学習を開始するよう、取得部３０、導出部３２及び学習部３４を制御する。

また、制御部３６は、任意の世代の固有表現抽出モデルＭの運用を行ってもよい。例えば制御部３６は、ユーザによって入力部２５を介して指示があった場合等に、ネットワーク９を介してレポートサーバ７から読影レポートを取得し、最も新しい世代の固有表現抽出モデルＭに当該読影レポートを入力することによって、ＮＥＲラベルを出力してもよい。また例えば、制御部３６は、ＮＥＲラベルに含まれるＢＩＯラベルに基づき固有表現を抽出し、ＮＥラベルに基づき固有表現の種類を特定して、ディスプレイ２４に提示してもよい。

次に、図１１を参照して、本実施形態に係る情報処理装置１０の作用を説明する。情報処理装置１０において、ＣＰＵ２１が情報処理プログラム２７を実行することによって、図１１に示す情報処理が実行される。情報処理は、例えばユーザによって入力部２５を介して実行開始の指示があった場合に実行される。

ステップＳ１０で、取得部３０は、学習済みの教師モデルＭＴの学習に用いられた学習用データＤと、予め定められたサンプルデータＵと、を取得する。ステップＳ１２で、導出部３２は、ステップＳ１０で取得された学習用データＤと、サンプルデータＵと、に基づいて、教師モデルＭＴの信頼度ｗを導出する。ステップＳ１４で、導出部３２は、ステップＳ１０で取得されたサンプルデータＵを教師モデルＭＴに入力し、出力データである確率分布Ｐを出力させる。ステップＳ１６で、導出部３２は、ステップＳ１２で導出した信頼度ｗと、ステップＳ１４で出力した確率分布Ｐと、に基づき、出力ターゲットＰ_ＴＧＴを導出する。

ステップＳ１８で、学習部３４は、サンプルデータＵを生徒モデルＭＳに入力して得られる出力データである確率分布Ｐ_Ｓを、ステップＳ１６で導出された出力ターゲットＰ_ＴＧＴに近づけるよう、生徒モデルＭＳを学習させる。ステップＳ２０で、制御部３６は、蒸留を用いた学習が完了したか否かを判定する。学習が完了していない場合（すなわちステップＳ２０がＮの場合）、ステップＳ２２に移行し、制御部３６は、次世代の学習を行うよう取得部３０、導出部３２及び学習部３４を制御する。具体的には、制御部３６は、ステップＳ１８で学習が完了した生徒モデルＭＳを次世代の教師モデルＭＴとし、次世代の生徒モデルＭＳを学習対象として、ステップＳ１０～Ｓ１８の処理を繰り返させる。一方、学習が完了している場合（すなわちステップＳ２０がＹの場合）、本情報処理を終了する。

以上説明したように、本開示の一態様に係る情報処理装置１０は、少なくとも１つのプロセッサを備え、プロセッサは、学習済みの教師モデルＭＴの学習に用いられた学習用データＤと、予め定められたサンプルデータＵと、に基づいて教師モデルＭＴの信頼度ｗを導出し、サンプルデータＵを教師モデルＭＴに入力して得られる出力データと、信頼度ｗと、に基づいて出力ターゲットを導出し、サンプルデータＵを生徒モデルＭＳに入力して得られる出力データが、出力ターゲットに近づくよう生徒モデルＭＳを学習させる。すなわち、本実施形態に係る情報処理装置１０によれば、教師モデルＭＴに基づき生徒モデルＭＳを学習させる「蒸留」を用いた学習方法において、信頼度ｗが相対的に高い教師モデルＭＴの重みを重く、信頼度ｗが相対的に低い教師モデルＭＴの重みを軽くできる。したがって、良好な性能を有する教師モデルＭＴの生徒モデルＭＳに対する影響力は確保しつつ、不適切な性能を有する教師モデルＭＴの生徒モデルＭＳに対する影響力は軽減できるので、良好な性能を有する学習モデル（固有表現抽出モデルＭ）を得られる。

なお、上記実施形態においては、導出部３２が、ＢＥＲＴＳｃｏｒｅを用いて学習用データＤとサンプルデータＵとの類似度ｓを導出する形態例について説明したが、これに限らない。例えば導出部３２は、ＢＥＲＴＳｃｏｒｅに代えて、又は追加して、ＴＦ－ＩＤＦ（Term Frequency-Inverse Document Frequency）等の他の指標を用いて類似度ｓを導出してもよい。ＴＦ－ＩＤＦを用いることにより、テキストデータ間の出現単語に関する類似度ｓを導出できる。

また、上記実施形態においては、学習用データＤとサンプルデータＵとの類似度ｓに基づいて教師モデルＭＴの信頼度ｗを導出する形態例について説明したが、導出部３２は、類似度ｓ以外の他の指標を適宜組み合わせて信頼度ｗを導出してもよい。

例えば、導出部３２は、教師モデルＭＴの損失値に基づいて信頼度ｗを導出してもよい。教師モデルＭＴの損失値とは、学習用入力データＸを教師モデルＭＴに入力して得られる出力データである確率分布Ｐ（ｙ_ｊ）の、学習用正解データＹに対する誤差を表す値である。損失値は、例えば、交差エントロピー、カルバック・ライブラー情報量及び平均二乗誤差の少なくとも１つの尺度を用いて導出できる。導出部３２は、教師モデルＭＴの損失値が大きいほど信頼度ｗが小さく、損失値が小さいほど信頼度ｗが大きくなるように、信頼度ｗを導出してもよい。

また例えば、導出部３２は、評価用データＥを用いて導出される教師モデルＭＴの評価値に基づいて、信頼度ｗを導出してもよい。評価用データＥとは、評価用入力データＸ_Ｅと、当該評価用入力データＸ_Ｅが固有表現抽出モデルＭに入力された場合の出力データとしての評価用正解データＹ_Ｅと、の組合せを含むデータである。なお、評価用データＥは、学習用データＤ及びサンプルデータＵと同形式で、かつ内容が異なるデータである。教師モデルＭＴの評価値とは、評価用データＥに含まれる評価用入力データＸ_Ｅを教師モデルＭＴに入力して得られる出力データである確率分布Ｐ（ｙ_ｊ）の、評価用正解データＹ_Ｅに対する一致度合を表す値である。導出部３２は、教師モデルＭＴの評価値が大きいほど信頼度ｗが大きく、評価値が小さいほど信頼度ｗが小さくなるように、信頼度ｗを導出してもよい。

また、上記実施形態においては、固有表現抽出モデルＭについて、入力をテキストデータとし、出力をＮＥラベルとＢＩＯラベルとの組合せを示すＮＥＲラベルとする形態について説明したが、固有表現抽出モデルＭの出力はＮＥＲラベルの形式に限られない。例えば図１２に示すように、固有表現抽出モデルＭは、ＮＥＲラベルをＮＥラベルとＢＩＯラベルとに分け、その少なくとも一方を出力するようにしてもよい。図１２は、図１０に示すＮＥＲラベルをＮＥラベルとＢＩＯラベルとに分けた図である。

具体的には、固有表現抽出モデルＭ（すなわち教師モデルＭＴ及び生徒モデルＭＳ）は、入力をテキストデータとし、出力をテキストデータに含まれる文字ごとに付与された、当該文字が表す固有表現の種類を示すＮＥラベルの確率分布Ｐ_ＮＥ＿Ｓ（ｙ_ｊ）とするモデルであってもよい。この場合、導出部３２は、サンプルデータＵを教師モデルＭＴに入力して得られるＮＥラベルの確率分布Ｐ_ＮＥ＿Ｓ（ｙ_ｊ）と、信頼度ｗと、に基づいて出力ターゲットＰ_{ＮＥ＿ＴＧＴ}（ｙ_ｊ）を導出する。学習部３４は、サンプルデータＵを生徒モデルＭＳに入力して得られるＮＥラベルの確率分布Ｐ_ＮＥ＿Ｓ（ｙ_ｊ）が、出力ターゲットＰ_{ＮＥ＿ＴＧＴ}（ｙ_ｊ）に近づくよう、損失値Ｌ_{ＮＥ＿ＣＥ}を最小化するように生徒モデルＭＳを学習させる。出力ターゲットＰ_{ＮＥ＿ＴＧＴ}（ｙ_ｊ＝ａ｜Ｕ）は下記のように表される。

また、固有表現抽出モデルＭ（すなわち教師モデルＭＴ及び生徒モデルＭＳ）は、入力をテキストデータとし、出力をテキストデータに含まれる文字ごとに付与された、当該文字が固有表現の開始位置、内部位置及び外部位置の何れに相当するかを示すＢＩＯラベルの確率分布Ｐ_{ＢＩＯ＿Ｓ}（ｙ_ｊ）とするモデルであってもよい。この場合、導出部３２は、サンプルデータＵを教師モデルＭＴに入力して得られるＢＩＯラベルの確率分布Ｐ_{ＢＩＯ＿Ｓ}（ｙ_ｊ）と、信頼度ｗと、に基づいて出力ターゲットＰ_{ＢＩＯ＿ＴＧＴ}（ｙ_ｊ）を導出する。学習部３４は、サンプルデータＵを生徒モデルＭＳに入力して得られるＢＩＯラベルの確率分布Ｐ_{ＢＩＯ＿Ｓ}（ｙ_ｊ）が、出力ターゲットＰ_{ＢＩＯ＿ＴＧＴ}（ｙ_ｊ）に近づくよう、損失値Ｌ_{ＢＩＯ＿ＣＥ}を最小化するように生徒モデルＭＳを学習させる。出力ターゲットＰ_{ＢＩＯ＿ＴＧＴ}（ｙ_ｊ＝ａ｜Ｕ）は下記のように表される。

ＮＥラベルに関する損失値Ｌ_{ＮＥ＿ＣＥ}の最小化、及びＢＩＯラベルに関する損失値Ｌ_{ＢＩＯ＿ＣＥ}の最小化は、ＮＥＲラベルに関する損失値Ｌ_ＣＥの最小化よりも容易に達成できる場合がある。したがって、ＮＥラベルに関する損失値Ｌ_{ＮＥ＿ＣＥ}の最小化と、ＢＩＯラベルに関する損失値Ｌ_{ＢＩＯ＿ＣＥ}の最小化と、を分けて生徒モデルＭＳの学習を行うことにより、生徒モデルＭＳをより効率よく学習させることできる場合がある。

また、上記実施形態においては、サンプルデータＵがテキストデータを含み、正解データを含まないラベルなしデータである形態例について説明したが、これに限らず、サンプルデータＵは、正解データも含むラベルありデータであってもよい。この場合、例えば学習部３４は、生徒モデルＭＳの学習において、サンプルデータＵを学習用データＤ_Ｓに加えてもよい。また例えば、導出部３２は、導出した教師モデルＭＴの出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）と、サンプルデータＵに含まれる正解データと、の誤差の大きさを導出してもよい。また例えば、この誤差の大きさを利用して、導出部３２は、誤差の大きさが予め定められた閾値以上である場合に、サンプルデータＵに含まれる正解データが誤入力されていると判定してもよい。また例えば、誤入力されていると判定した場合、導出部３２は、サンプルデータＵに含まれる正解データを出力ターゲットＰ_ＴＧＴ（ｙ_ｊ）に基づいて修正してもよい。

また、上記実施形態においては、固有表現抽出モデルＭの学習用データＤが、正解データを含むラベルありデータである形態例について説明したが、これに限らず、学習用データＤは、正解データを含まないラベルなしデータであってもよい。すなわち、固有表現抽出モデルＭは、教師なし学習により学習される学習モデルであってもよい。

また、上記実施形態においては、複数の教師モデルＭＴ１～ＭＴｎのアンサンブル学習によって生徒モデルＭＳを学習させる形態例について説明したが、これに限らない。本実施形態に係る情報処理装置１０では、１つの教師モデルＭＴに基づき生徒モデルＭＳを学習させることも可能である。この場合においても、教師モデルＭＴの信頼度ｗに基づく重みを考慮して生徒モデルＭＳを学習させることによって、蒸留を繰り返す場合に、世代ごとに教師モデルＭＴが生徒モデルＭＳに与える影響度合を異ならせることができる。例えば、性能が相対的に良い世代では教師モデルＭＴの性能を多く引き継ぎ、性能が相対的に悪い世代では教師モデルＭＴの性能をあまり引き継がないようにできるので、良好な性能を有する生徒モデルＭＳを得られる。

また、上記実施形態においては、情報処理装置１０の学習対象として、入力をテキストデータとし、出力をＮＥＲラベルの確率分布とする固有表現抽出モデルＭを用いる形態例について説明したが、これに限らない。本開示の技術は、例えば医用画像から病変等を含む関心領域を抽出するための、入力を画像データとし、出力を画素ごとの分類とする学習モデルに適用することもできる。

また、上記実施形態において、例えば、取得部３０、導出部３２、学習部３４及び制御部３６といった各種の処理を実行する処理部（processing unit）のハードウェア的な構造としては、次に示す各種のプロセッサ（processor）を用いることができる。上記各種のプロセッサには、前述したように、ソフトウェア（プログラム）を実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵに加えて、ＦＰＧＡ（Field Programmable Gate Array）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

１つの処理部は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせや、ＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。

複数の処理部を１つのプロセッサで構成する例としては、第１に、クライアント及びサーバ等のコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第２に、システムオンチップ（System on Chip：ＳｏＣ）等に代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの１つ以上を用いて構成される。

さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）を用いることができる。

また、上記実施形態では、情報処理プログラム２７が記憶部２２に予め記憶（インストール）されている態様を説明したが、これに限定されない。情報処理プログラム２７は、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、及びＵＳＢ（Universal Serial Bus）メモリ等の記録媒体に記録された形態で提供されてもよい。また、情報処理プログラム２７は、ネットワークを介して外部装置からダウンロードされる形態としてもよい。さらに、本開示の技術は、情報処理プログラムに加えて、情報処理プログラムを非一時的に記憶する記憶媒体にもおよぶ。

本開示の技術は、上記実施形態例を適宜組み合わせることも可能である。以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。

１ 情報処理システム
７ レポートサーバ
８ レポートＤＢ
９ ネットワーク
１０ 情報処理装置
２１ ＣＰＵ
２２ 記憶部
２３ メモリ
２４ ディスプレイ
２５ 入力部
２６ ネットワークＩ／Ｆ
２７ 情報処理プログラム
２８ バス
３０ 取得部
３２ 導出部
３４ 学習部
３６ 制御部
４０ エンコーダ
４２ デコーダ
Ｄ 学習用データ
Ｍ、Ｍ０１～Ｍ２ｎ２ 固有表現抽出モデル
ＭＴ、ＭＴ１～ＭＴｎ 教師モデル
ＭＳ 生徒モデル
Ｕ サンプルデータ
Ｘ 入力系列
Ｙ 出力系列

Claims (15)

1. 少なくとも１つのプロセッサを備え、
   前記プロセッサは、
   学習済みの教師モデルの学習に用いられた学習用データと、予め定められたサンプルデータと、に基づいて前記教師モデルの信頼度を導出し、
   前記サンプルデータを前記教師モデルに入力して得られる出力データと、前記信頼度と、に基づいて出力ターゲットを導出し、
   前記サンプルデータを生徒モデルに入力して得られる出力データが、前記出力ターゲットに近づくよう前記生徒モデルを学習させる
   情報処理装置。
2. 前記プロセッサは、
   互いに異なる複数の前記教師モデルのそれぞれについて前記信頼度を導出し、
   前記サンプルデータを前記複数の教師モデルのそれぞれに入力して得られる複数の出力データに対する前記信頼度に応じた重み付き平均を、前記出力ターゲットとして導出する
   請求項１に記載の情報処理装置。
3. 前記プロセッサは、
   前記学習用データと前記サンプルデータとの類似度に基づいて、前記信頼度を導出する
   請求項１又は請求項２に記載の情報処理装置。
4. 前記プロセッサは、
   前記学習用データが複数ある場合、前記学習用データごとに前記サンプルデータとの類似度を導出し、
   前記学習用データごとに導出された全ての前記類似度の平均に基づいて、前記信頼度を導出する
   請求項３に記載の情報処理装置。
5. 前記プロセッサは、
   前記学習用データが複数ある場合、前記学習用データごとに前記サンプルデータとの類似度を導出し、
   前記学習用データごとに導出された全ての前記類似度のうち、前記類似度が高い方から順に予め定められた数だけ選択される前記類似度の平均に基づいて、前記信頼度を導出する
   請求項３に記載の情報処理装置。
6. 前記学習用データは、学習用入力データと、当該学習用入力データが前記教師モデルに入力された場合の出力データとしての学習用正解データと、の組合せを含み、
   前記プロセッサは、
   前記学習用入力データを前記教師モデルに入力して得られる出力データの、前記学習用正解データに対する誤差の大きさを表す損失値に基づいて、前記信頼度を導出する
   請求項１から請求項５の何れか１項に記載の情報処理装置。
7. 前記プロセッサは、
   評価用入力データと、当該評価用入力データが前記教師モデルに入力された場合の出力データとしての評価用正解データと、の組合せを含む評価用データに含まれる前記評価用入力データを前記教師モデルに入力して得られる出力データの、前記評価用正解データに対する一致度合を表す評価値に基づいて、前記信頼度を導出する
   請求項１から請求項６の何れか１項に記載の情報処理装置。
8. 前記プロセッサは、
   前記サンプルデータを前記生徒モデルに入力して得られる出力データの、前記出力ターゲットに対する誤差の大きさを表す損失値を最小化するよう前記生徒モデルを学習させる
   請求項１から請求項７の何れか１項に記載の情報処理装置。
9. 前記プロセッサは、
   前記損失値を、交差エントロピー、カルバック・ライブラー情報量及び平均二乗誤差の少なくとも１つの尺度を用いて導出する
   請求項６又は８に記載の情報処理装置。
10. 前記教師モデル及び前記生徒モデルは、入力をテキストデータとし、出力を前記テキストデータに含まれる文字ごとの分類とするモデルであり、
    前記学習用データは、テキストデータと、当該テキストデータに含まれる文字ごとの分類と、の組合せを含み、
    前記サンプルデータは、テキストデータを含む
    請求項１から請求項９の何れか１項に記載の情報処理装置。
11. 前記プロセッサは、
    前記学習用データに含まれる前記テキストデータと、前記サンプルデータに含まれる前記テキストデータと、の意味、構造及び出現単語の少なくとも１つに関する類似度に基づいて、前記信頼度を導出する
    請求項１０に記載の情報処理装置。
12. 前記教師モデル及び前記生徒モデルは、入力をテキストデータとし、出力を前記テキストデータに含まれる文字ごとに付与される、当該文字が表す固有表現の種類を示すＮＥラベルの確率分布とするモデルであり、
    前記プロセッサは、
    前記サンプルデータを前記教師モデルに入力して得られる前記ＮＥラベルの確率分布と、前記信頼度と、に基づいて出力ターゲットを導出し、
    前記サンプルデータを前記生徒モデルに入力して得られる前記ＮＥラベルの確率分布が、前記出力ターゲットに近づくよう前記生徒モデルを学習させる
    請求項１０又は１１に記載の情報処理装置。
13. 前記教師モデル及び前記生徒モデルは、入力をテキストデータとし、出力を前記テキストデータに含まれる文字ごとに付与される、当該文字が固有表現の開始位置、内部位置及び外部位置の何れに相当するかを示すＢＩＯラベルの確率分布とするモデルであり、
    前記プロセッサは、
    前記サンプルデータを前記教師モデルに入力して得られる前記ＢＩＯラベルの確率分布と、前記信頼度と、に基づいて出力ターゲットを導出し、
    前記サンプルデータを前記生徒モデルに入力して得られる前記ＢＩＯラベルの確率分布が、前記出力ターゲットに近づくよう前記生徒モデルを学習させる
    請求項１０から請求項１２の何れか１項に記載の情報処理装置。
14. 学習済みの教師モデルの学習に用いられた学習用データと、予め定められたサンプルデータと、に基づいて前記教師モデルの信頼度を導出し、
    前記サンプルデータを前記教師モデルに入力して得られる出力データと、前記信頼度と、に基づいて出力ターゲットを導出し、
    前記サンプルデータを生徒モデルに入力して得られる出力データが、前記出力ターゲットに近づくよう前記生徒モデルを学習させる
    処理を含む情報処理方法。
15. 学習済みの教師モデルの学習に用いられた学習用データと、予め定められたサンプルデータと、に基づいて前記教師モデルの信頼度を導出し、
    前記サンプルデータを前記教師モデルに入力して得られる出力データと、前記信頼度と、に基づいて出力ターゲットを導出し、
    前記サンプルデータを生徒モデルに入力して得られる出力データが、前記出力ターゲットに近づくよう前記生徒モデルを学習させる
    処理をコンピュータに実行させるための情報処理プログラム。