Deprecated: The each() function is deprecated. This message will be suppressed on further calls in /home/zhenxiangba/zhenxiangba.com/public_html/phproxy-improved-master/index.php on line 456
JP6940184B2 - スキル推定装置、学習支援装置、スキル推定方法およびプログラム - Google Patents
[go: Go Back, main page]

JP6940184B2 - スキル推定装置、学習支援装置、スキル推定方法およびプログラム - Google Patents

スキル推定装置、学習支援装置、スキル推定方法およびプログラム Download PDF

Info

Publication number
JP6940184B2
JP6940184B2 JP2019547940A JP2019547940A JP6940184B2 JP 6940184 B2 JP6940184 B2 JP 6940184B2 JP 2019547940 A JP2019547940 A JP 2019547940A JP 2019547940 A JP2019547940 A JP 2019547940A JP 6940184 B2 JP6940184 B2 JP 6940184B2
Authority
JP
Japan
Prior art keywords
skill
learner
skills
solve
correct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019547940A
Other languages
English (en)
Other versions
JPWO2019073712A1 (ja
Inventor
浩嗣 玉野
浩嗣 玉野
丸山 晃一
晃一 丸山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Solution Innovators Ltd
Original Assignee
NEC Solution Innovators Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Solution Innovators Ltd filed Critical NEC Solution Innovators Ltd
Publication of JPWO2019073712A1 publication Critical patent/JPWO2019073712A1/ja
Application granted granted Critical
Publication of JP6940184B2 publication Critical patent/JP6940184B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00Computing arrangements using knowledge-based models
    • G06N5/04Inference or reasoning models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00Computing arrangements based on specific mathematical models
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00Electrically-operated teaching apparatus or devices working with questions and answers
    • G09B7/02Electrically-operated teaching apparatus or devices working with questions and answers of the type wherein the student is expected to construct an answer to the question which is presented or wherein the machine gives an answer to the question presented by a student

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Mathematical Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computational Linguistics (AREA)
  • Algebra (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Electrically Operated Instructional Devices (AREA)

Description

本発明は、スキル推定装置、学習支援装置、スキル推定方法およびプログラムに関する。
学習支援システムの1つに、学習者に問題を提示するシステムがある。問題を提示する際、学習者の能力を把握できれば、より適切な問題を提示し得る。そこで、学習者の能力を把握するための技術が提案されている。
例えば、非特許文献1に記載の技術では、問題を解く際の能力(Concept)の重要度、学習者が備えている能力をそれぞれ実数の行列で示す。この技術では、問題を解くために必要な能力と、学習者が備えている能力とで算出される推定値と、解答者による解答結果の実際値との差を最小にするように、学習者が備えている能力の推定を行う。
Shaghayegh Sahebi、外2名、"Tensor Factorization for Student Modeling and Performance Prediction in Unstructured Domain"、Proceedings of the 9th International Conference on Educational Data Mining、2016年、p.502−506
非特許文献1に記載の技術では、推定結果を人が見ても容易には解釈できないと考えられる。特に、非特許文献1に記載の技術では、推定結果をもとに、スキルの内容を人間が解釈することは難しい。
本発明の目的の一例は、上述の課題を解決することのできるスキル推定装置、学習支援装置、スキル推定方法およびプログラムを提供することである。
本発明の第1の態様にかかるスキル推定装置は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、を備える。
本発明の第2の態様にかかる学習支援装置は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、前記スキル推定部の推定結果に基づいて、学習者に提示する問題を選択する問題選択部と、を備える。
本発明の第3の態様によれば、スキル推定方法は、装置が、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、前記装置が、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解探索を行って、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、を含む。
本発明の第4の態様にかかるプログラムは、コンピュータに、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、を実行させる。
この発明によれば、推定結果をもとに、スキルの内容を人間が比較的容易に解釈できるようになる。
本発明の実施形態に係る学習支援システムの機能構成を示す概略ブロック図である。 実施形態に係る学習支援装置の機能構成を示す概略ブロック図である。 実施形態に係る端末装置の機能構成を示す概略ブロック図である。 実施形態に係るスキル推定部が行う推定の概要を示す説明図である。 実施形態に係るスキル推定部がスキルの推定に用いるモデルをグラフィカルモデルで示す図である。 ロジスティック関数の値を示す図である。 実施形態に係るスキル推定部が行う処理の手順を示すフローチャートである。 本発明の別の実施形態に係るスキル推定装置の構成の例を示す図である。 本発明の別の実施形態に係る学習支援装置の構成の例を示す図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
図1は、本発明の実施形態に係る学習支援システムの機能構成を示す概略ブロック図である。図1に示すように、学習支援システム1は、学習支援装置100と、端末装置200とを備える。学習支援装置100と端末装置200とは、通信ネットワーク900を介して通信を行う。
学習支援システム1は、学習者であるユーザに対し、ユーザが保持しているスキルに応じた問題を提供する。ここでいうスキルは、問題を解くために必要な能力であり、特定の種類の能力に限定されない。例えば、スキルには知識が含まれていてもよいし、ノウハウが含まれていてもよい。
ユーザが保持しているスキルをユーザのスキルとも称する。
学習支援装置100は、ユーザのスキルを推定し、推定したスキルに応じた問題を提供する。学習支援装置100は、例えばワークステーション(Workstation)等のコンピュータを用いて構成される。学習支援装置100は、スキル推定装置の例、および、問題提供装置の例に該当する。
図2は、学習支援装置100の機能構成を示す概略ブロック図である。図2に示すように、学習支援装置100は、サーバ側通信部110と、サーバ側記憶部180と、サーバ側制御部190とを備える。サーバ側制御部190は、スキル推定部191と、問題選択部192と、解答処理部193とを備える。
サーバ側通信部110は、他の装置と通信を行う。特に、サーバ側通信部110は端末装置200と通信を行って問題を送信し、ユーザが問題を解いて出した解答(問題に対するユーザの解答)を受信し、解答に対する解説を送信する。
サーバ側記憶部180は、問題および解答や、スキル推定用のモデルなど各種情報を記憶する。サーバ側記憶部180は、学習支援装置100が備える記憶デバイスを用いて構成される。
サーバ側制御部190は、学習支援装置100の各部を制御して各種処理を行う。サーバ側制御部190は、学習支援装置100が備えるCPU(Central Processing Unit、中央処理装置)がサーバ側記憶部180からプログラムを読み出して実行することで構成される。
スキル推定部191は、問題に対するユーザの解答の正誤に基づいて、ユーザが保持しているスキルおよび各問題を解くのに必要なスキルを推定する。
問題選択部192は、スキル推定部191が推定したスキルに基づいて、ユーザに提供する問題を選択する。
解答処理部193は、問題に対するユーザの解答に対する処理を行う。具体的には、解答処理部193は、解答の正誤を判定する。そして、解答処理部193は、判定結果を示す2値データ(正答又は誤答であることを示すデータ)と、問題番号、ユーザ番号、および、日時情報とを対応付けた正誤データを、サーバ側記憶部180に記憶させる。解答処理部193は、正誤データ取得部の例に該当する。
また、解答処理部193は、サーバ側記憶部180が記憶している解説の中から解答の正誤に応じた解説を選択し、解答を送信した端末装置200へサーバ側通信部110を介して送信する。
端末装置200は、学習支援システム1の端末装置として機能する。特に、端末装置200は、学習支援装置100から送信される問題を表示して、解答を入力するユーザ操作を受ける。端末装置200は、得られた解答を学習支援装置100へ送信し、学習支援装置100から解説を受信し、受信した解説を表示する。さらに、端末装置200は、次の問題を学習支援装置100から受信すると、問題の表示、解答の取得および送信、解説の受信および表示を繰り返す。
端末装置200は、例えばパソコン(Personal Computer;PC)、タブレット端末装置またはスマートフォン(Smartphone)などのコンピュータを用いて構成される。
学習支援システム1が備える端末の数は、複数であればよく、多いほどよい。ユーザ数が多いほど学習支援装置100によるスキル推定の精度が高くなると期待されるため、端末装置200の数が多いことが好ましい。
図3は、端末装置200の機能構成を示す概略ブロック図である。図3に示すように、端末装置200は、端末側通信部210と、表示部220と、操作入力部230と、端末側記憶部280と、端末側制御部290とを備える。
端末側通信部210は、他の装置と通信を行う。特に、端末側通信部210は、学習支援装置100と通信を行うことにより、問題および解説を受信し、また、解答を送信する。
表示部220は、例えば液晶パネルまたはLED(Light Emitting Diode、発光ダイオード)パネル等の表示画面を有し、各種画像を表示する。特に、表示部220は、学習支援装置100が送信した問題および解説を表示する。
操作入力部230は、例えばキーボードおよびマウス等の入力デバイスを備え、ユーザ操作を受ける。特に、操作入力部230は、表示部220が問題を表示している状態で、学習者による解答の入力操作を受ける。
端末側記憶部280は、各種情報を記憶する。例えば、端末側記憶部280は、学習支援システム1の端末装置として動作するためのアプリケーションプログラムを記憶する。また、端末側記憶部280は、学習支援装置100が送信した問題や解説を一時的に記憶する。端末側記憶部280は、端末装置200が備える記憶デバイスを用いて構成される。
端末側制御部290は、端末装置200の各部を制御して各種処理を実行する。例えば、端末側制御部290は、端末側通信部210を制御して、端末側通信部210に学習支援装置100のサーバ側通信部110と通信を行わせる。また、端末側制御部290は、表示部220を制御して、表示部220に問題および解説を表示させる。また、端末側制御部290は、操作入力部230が受けたユーザ操作を解答等のデータに変換する。
通信ネットワーク900は、学習支援装置100と端末装置200との通信を仲介する。通信ネットワーク900は、特定の通信ネットワークに限定されない。例えば、通信ネットワーク900はインターネットであってもよいが、これに限定されない。
次に、スキル推定部191が行うスキルの推定について説明する。
スキル推定部191がスキルを推定する環境として、以下の環境を想定する。
全部でM個の問題が用意されており、N人のユーザが問題を解く。いずれの問題も、その問題を解くのにK個のスキルのうち1つ以上を必要とする。上記のように、ここでいうスキルは、問題を解くための能力であり、特定の種類のものに限定されない。スキルは、問題を解くために必要な知識を含んでもよいし、具体化されない抽象的な能力を含んでもよい。また、ここでいうユーザは、学習支援装置100が提供する問題を解く者である。
サーバ側記憶部180が、ユーザが問題を解いた順番および解答を各ユーザについて記録しておく。スキル推定部191は、この情報に基づいて、各問題を解くのに必要なスキル、および、各ユーザが保持しているスキル(取得済みのスキル)を推定する。
スキル推定部191は、個々のスキルの内容の解析は行わず、問題を解くのに必要なスキルと、ユーザが保持しているスキルとの対応関係を推定する。1つの問題と1人のユーザとを選択した場合に、その問題を解くのに必要なスキルのうちどのスキルをユーザが保持しているかを示すことで、問題選択部192が、次にユーザに提示する問題(次にユーザが解く問題)を選択する手がかりとすることができる。
図4は、スキル推定部191が行う推定の概要を示す説明図である。図4には、問題を解くのに必要なスキルRと、複数のユーザ各々が保持しているスキルZ〜Zと、各ユーザが問題を解いた結果(正誤)X〜Xとが、バイナリ(2値)の行列またはベクトルの形で示されている。
図4で、R(問題スキル行列)における上付きの「T」は、行列またはベクトルの転置を示す。Rの各列は、問題と対応付けられる。Rの各行は、スキルと対応付けられる。Rの要素の値「1」はスキルが必要であることを示し、「0」はスキルが不要であることを示す。
〜Z(学習者スキル行列)の各々の各列は、ユーザが問題を解いたタイミングと対応付けられる。Z〜Zの各々の各行は、スキルと対応付けられる。
〜X(正誤ベクトル)の各々は行ベクトルであり、各列は、問題に対するユーザのタイミングと対応付けられる。
これらのうち、各ユーザが問題を解いた結果は、観測可能である。一方、各ユーザが保持しているスキルを直接観測することはできない。また、スキル推定部191が個々のスキルの内容の解析を行わないことから、問題を解くのに必要なスキルも直接観測することはできない。
そこで、スキル推定部191は、各ユーザが問題を解いた結果から、問題を解くのに必要なスキル、および、各ユーザが保持しているスキルを推定する。学習支援装置100は、問題を解くのにどのスキルが必要か、および、各ユーザがどのスキルを保持しているかを推定するが、各スキルがどのような内容のものかの解析は行わない。
図5は、スキル推定部191がスキルの推定に用いるグラフィカルモデルを示す。図5で丸印は確率変数を示す。矢印は、データの依存関係を示す。矢印の先の変数の値を決定する際、矢印の手前の変数の値を用いる。
図5では、1人のユーザuについてのユーザスキルZu,k(t)および正誤X (t)が示されている。モデルは、他のユーザについても同様に、ユーザ毎のユーザスキルおよび正誤を含む。
一方、v、μ〜μ、w〜wは、各ユーザに共通である。
問題スキルRについては各ユーザに共通で用意する。ユーザuがステップtで解いた問題の問題番号をm (t)で示す。問題番号m (t)を用いて、ユーザuがステップtで解いた問題の問題スキルをRmu(t)で示す。
スキルの推定のためのモデルを表記するために、以下に説明する変数または定数を用いる。
M:問題の総数。
なお、問題に1〜Mの問題番号を付して各問題を識別する。問題番号をmで示す。mは、1≦m≦Mの整数である。問題番号mの問題を、問題mと表記する。
N:ユーザの総数
なお、ユーザに1〜Nのユーザ番号を付して各ユーザを識別する。ユーザ番号をuで示す。uは、1≦u≦Nの整数である。ユーザ番号uのユーザを、ユーザuと表記する。
K:スキルの総数
なお、スキルに1〜Kのスキル番号を付して各スキルを識別する。スキル番号をkで示す。kは、1≦k≦Kの整数である。スキル番号kのスキルを、スキルkと表記する。
(t):ユーザuがステップtに解いた問題の問題番号を示す変数
なお、m (t)は、1≦m (t)≦Mの整数である。ここでいうステップは、ユーザが問題を解いたタイミングである。各ユーザは、1つのステップに1つの問題を解くと仮定する。ステップtは、ユーザがt番目に問題を解いたタイミングである。ユーザuがステップtに解いた問題とは、ユーザuがt番目に解いた問題である。ユーザが問題を解くタイミングは任意のタイミングでよい。特に、複数のユーザが同時に問題を解く必要はない。また、問題選択部192は、ユーザのスキルに応じて問題を提供するため、通常、問題を解く順番はユーザ毎に異なる。
(t):ユーザuがステップtに問題を解いた解答の正誤を示す確率変数
なお、X (t)は、0、1のいずれかの値をとる。「X (t)=0」は、解答が不正解であったことを示す。「X (t)=1」は、解答が正解であったことを示す。
(1)〜X (t)を要素とする行ベクトル(横ベクトル)をXと表記する。
以下では、正誤X (t)、正誤Xと表記する。
u,k (t):ユーザuがステップtにスキルkを保持しているか否かを示す確率変数
なお、Zu,k (t)は、0、1のいずれかの値をとる。「Zu,k (t)=0」は、そのスキルを保持していないことを示す。「Zu,k (t)=1」は、そのスキルを保持していることを示す。
u,1 (t)〜Zu,K (t)を要素とする列ベクトル(縦ベクトル)をZ (t)と表記する。Z (t)は、式(1)のように示される。
Figure 0006940184
全てのユーザおよび全てのステップについてのZ (t)をまとめてZと表記する。
以下では、ユーザスキルZ、ユーザスキルZ (t)、ユーザスキルZu,k (t)と表記する。
:問題mを解くために必要なスキルを示す確率変数
なお、Rは、K次元の行ベクトル(横ベクトル)で示される。Rの各要素は、0、1のいずれかの値をとる。但し、全ての要素が0である場合を除く。k番目の要素の値が0である場合は、スキルkが不要であることを示す。k番目の要素の値が1である場合は、スキルkが必要であることを示す。
m,k:問題mを解くためにスキルkが必要か否かを示す変数
なお、Rm,kは、Rのk番目の要素を示す。Rm,kを要素とする行列をRと表記する。以下では、問題スキルR、問題スキルR、問題スキルRm,kと表記する。
図5で、問題スキルRmu(t)、ユーザスキルZu,1 (t)〜Zu,K (t)の各々から正誤X (t)へ矢印が出ているように、正誤X (t)は、問題スキルRmu(t)およびユーザスキルZu,1 (t)〜Zu,K (t)に依存する。具体的には、問題スキルRmu(t)およびユーザスキルZ (t)の下での正誤X (t)の確率がベルヌーイ(Bernoulli)分布に従うものとして、式(2)のように規定する。
Figure 0006940184
ここで、式(2)における「〜」は所定の分布に従うことを示す。Bernは、ベルヌーイ分布を示す。具体的には、式(2)の右辺は、正誤X (t)の値が、確率s(0≦s≦1)で「1」になり、確率1−sで「0」になることを示す。
式(2)のsは、式(3)のように示される。
Figure 0006940184
ここで、exp(x)は、eのx乗を示す。eは、ネイピア数を示す。a、bはいずれも定数のパラメータである。aの値、bの値は、いずれも予め定められる。
式(3)は、ロジスティック関数に式(4)を代入して得られる。
Figure 0006940184
ロジスティック関数f(x)は、式(5)のように示される。
Figure 0006940184
図6は、ロジスティック関数の値を示す。ロジスティック関数f(x)の値は、図6のグラフのように示される。式(3)のパラメータaは、グラフの傾きの調整パラメータである。aの値が大きいほど、傾きが急になる。パラメータbは、グラフの横方向の位置の調整パラメータである。グラフは、bの値だけx軸の正の方向に平行移動される。
「t≧2」の場合のユーザスキルZu,k (t)の値は、1つ前のステップでユーザが保持していたスキルに依存する。あるステップで保持していたスキルは、次のステップでも保持しているものとする。すなわち、「Zu,k (t−1)=1」の場合、「Zu,k (t)=1」とする。
ステップt−1でスキルkを保持していなかった場合(Zu,k (t−1)=0)、ユーザスキルZu,k (t)の値は、ステップt−1で解いた問題がスキルkを必要とするか否かに依存する。
ステップt−1で解いた問題がスキルkを必要とする場合(Rmu(t−1),k=1)、その問題を解くことでスキルkを身に付ける可能性があると考えられるので、ベルヌーイ分布に従って0または1に値を決定する。この場合、式(6)のように規定する。
Figure 0006940184
μは、各スキルの獲得のし易さを示す確率変数であり、式(7)のように示される。
Figure 0006940184
ここでBetaはベータ分布を示す。ξおよびζはベータ分布のパラメータであり、いずれもスキルごとに予め設定される。
ステップt−1で解いた問題がスキルkを必要としない場合(Rmu(t−1),k=0)、その問題を解くことではスキルkは身に付かないと考えられるので、「Zu,k (t)=0」とする。
以上より、「t≧2」の場合、Zu,k (t)の値は式(8)のように規定される。
Figure 0006940184
一方、「t=1」の場合、Zu,k (1)の値は、ユーザが予めスキルを保持していたか否かに依存する。この場合を式(9)のように規定する。
Figure 0006940184
は、ユーザがスキルkを予め保持している可能性の高さを示す確率変数であり、式(10)のように示される。
Figure 0006940184
γおよびηはベータ分布のパラメータであり、いずれもスキルごとに予め設定される。
は、多項分布に従うものとし、式(11)のように規定する。
Figure 0006940184
Multは多項分布を示す。vは多項分布のパラメータであり、式(12)のように示される。
Figure 0006940184
Dirはディリクレ(Dirichlet)分布を示す。「α=(α,・・・,α)」であり、「L=2−1」である。2−1は、K個のスキルについて0、1の全ての組合せの数から、全て0の場合(必要なスキルが無い場合)を除いた数である。α=(α,・・・,α)は、いずれもディリクレ分布のパラメータであり、予め設定される。
以下では、v、μ〜μ、w〜wをθまたはパラメータθと表記する。
このモデルを用いて、事後確率を最大にする問題スキルR、ユーザスキルZ、パラメータθを求める。このような問題スキルR、ユーザスキルZ、パラメータθを問題スキルRmax、ユーザスキルZmax、パラメータθmaxとすると、これらは式(13)のように示される。
Figure 0006940184
argmaxは、最大値を与える引数値(Argument Of Maximum)を意味する。式(13)の右辺は、事後確率P(R,Z,θ|X)が最大となる問題スキルR、ユーザスキルZおよびパラメータθの値を示す。
ここでは、式(13)をギブスサンプリングにより計算する。式(13)の事後分布からギブスサンプリングを行う場合、P(R|Z,θ,X)、P(Z|R,θ,X)、P(θ|R,Z,X)それぞれについてギブスサンプリングを行う方法が最も単純である。しかし、この方法では、現実的な時間で式(13)の解は得られない。これはP(R,Z|θ,X)において、多くの異なるR’とR’’で、P(Z|R’,θ,X)×P(R’’|Z,θ,X)が非常に小さいため、Rがギブスサンプリングによりほとんど更新されなくなるからである。そこで、RとZのサンプリングをP(R,Z|θ,X)に基づいて行うのではなく、確率が最大となるRが同一である式(14)の分布P’(R)からサンプリングを行う。
Figure 0006940184
ここで、Zは正規化定数である。
Z’(R)は、式(15)のように示される。
Figure 0006940184
すなわち、Z’(R)は、Xとθが与えられた状態でのR、Zの分布において、問題スキルがRの場合に、確率を最大にするユーザスキルZである。
式(14)を用いることで、あるRから別のR’がサンプリングされる確率が、単純なギブスサンプリングのように非常に小さくなることがなくなり、現実的な時間で式(13)の解を求めることができる。
ここで、P’(R|X,R\m,θ)を考える。R\mは、RからR(m行目)を除いた残りである。P’(R|X,R\m,θ)について、式(16)の関係が得られる。
Figure 0006940184
式(16)の括弧内「maxP(Z,X|R,θ)」は、ビタビ(Viterbi)アルゴリズムで効率的に計算できる。
式(16)を用いると、Rがとり得る全ての場合の各々(スキル数Kの要素を持つ2値ベクトルで、[0,・・・,0]以外)について値が求まる。この値を正規化すると、各場合の確率である多項分布のパラメータが求まる。この多項分布に従ってRの値を決定することができる。
Rの各行について、上記の確率分布を求め、得られた確率分布に基づいてサンプリングを行い、得られた値をRの当該する行に入れる。
Rのすべての行のサンプリングを行った後、式(16)の括弧内「maxP(Z,X|R,θ)」を用いてZ’を求める。
θについては、式(17)を考える。
Figure 0006940184
式(17)のZには、式(16)のmaxで得られたユーザスキルZを用いる。
式(17)より、vについて式(18)を得られる。
Figure 0006940184
ここで、nrは、問題スキルRの行のうちBinary(l)である行の出現数を示す。Binary(l)は、10進数lの2進化を示す。Rの行がとり得る全てのパターンについて、Rでの出現数を数え、得られた出現数に応じた確率分布を設定する。
wについては式(19)を得られる。
Figure 0006940184
ここで、nzk1は、ベクトルZ:,k (1)の中での1の出現回数を示す。「:」はワイルドカードを示す。従って、Z:,k (1)は、任意のユーザについてステップ1でのスキルkの有無を示す。nzk0は、ベクトルZ:,k (1)の中での0の出現回数を示す。ステップ1でスキルkを保持していたユーザの人数および保持していなかったユーザの人数を、ユーザが予めスキルkを保持していた確率に反映させる。
μについては式(20)を得られる。
Figure 0006940184
ここで、nzk101は、行列Z〜Z,Rにおいて、任意のu,tに関し「Rmu,k(t)=1」、「Zu,k (t)=0」、「Zu,k (t+1)=1」の3つ組の出現数を示す。すなわち、nzk101は、スキルkを必要とする問題を解いたときにユーザがスキルkを獲得した回数を示す。
nzk100は、行列Z〜Z,Rにおいて、任意のu,tに関し、「Rmu,k(t)=1」、「Zu,k (t)=0」、「Zu,k (t+1)=0の3つ組の出現数を示す。すなわち、nzk100は、スキルkを必要とする問題を解いたユーザがスキルkを獲得しなかった回数を示す。これらの回数を、スキルkを必要とする問題を解くことによるスキルkの習得のし易さに反映させる。
事後確率については、式(21)に基づいて算出される。
Figure 0006940184
図7は、スキル推定部191が行う処理の手順を示すフローチャートである。
<ステップS101>
スキル推定部191は、モデルパラメータα、∀k(γ,η,ξ,ζ)、a、b、Kに初期値を設定する。これらのモデルパラメータに値を設定することで、確率分布が設定される。これらの初期値は、人手(学習支援装置100の管理者)によって予め設定されていてもよい。ステップS101の後、ステップS102へ進む。
<ステップS102>
スキル推定部191は、正誤Xの入力を受け付ける。具体的には、スキル推定部191は、解答処理部193が生成した正誤データをサーバ側記憶部180から読み出す。ステップS102の後、処理がステップS103へ進む。
<ステップS103>
スキル推定部191は、問題スキルRおよびパラメータθを確率分布に従ってランダムに設定する。スキル推定部191は、設定したR、θを、それぞれRmax、θmaxにも設定する。ステップS103の後、処理がステップS104へ進む。
<ステップS104>
スキル推定部191は、ユーザスキルZを確率分布に従ってランダムに設定する。スキル推定部191は、設定したZを、Zmaxにも設定する。ステップS104の後、処理がステップS105へ進む。
<ステップS105>
スキル推定部191は、max_posteriorに初期値−∞を設定する。max_posteriorは、今までに得られた最大の事後確率を示す。ステップS105の後、処理がステップS111へ進む。
<ステップS111>
スキル推定部191は、ループL11を開始する。ループL11では、予め定められている最大ループ回数に到達するまで処理を繰り返す。ステップS111の後、処理がステップS112へ進む。
<ステップS112>
スキル推定部191は、問題スキルRをサンプリングし、問題スキルRを更新する。具体的には、スキル推定部191は、問題毎に(すなわち、各mについて)式(16)に基づいて問題スキルRmの分布を決定し、得られた分布に従って問題スキルRmの値を決定する。スキル推定部191は、決定した問題スキルRmの値を問題スキルRに入力する。スキル推定部191は、問題スキルRを更新した後、式(16)に基づいてユーザスキルZを更新する。ステップS112の後、処理がステップS113へ進む。
<ステップS113>
スキル推定部191は、パラメータθをサンプリングする。具体的には、スキル推定部191は、式(18)〜式(20)に基づいて、v、w〜w、μ〜μの各値の分布を決定し、得られた分布に従って各値を決定する。スキル推定部191は、得られた値をv、w〜w、μ〜μそれぞれに入力する。ステップS113の後、処理がステップS114へ進む。
<ステップS114>
スキル推定部191は、式(21)に基づいて事後確率を算出する。ステップS114の後、処理がステップS115へ進む。
<ステップS115>
スキル推定部191は、得られた事後確率がmax_posteriorより大きいか否かを判定する。大きいと判定した場合、処理がステップS116へ進む。大きくないと判定した場合、処理がステップS117へ進む。
<ステップS116>
スキル推定部191は、max_posterior、Rmax、Zmax、θmaxを更新する。具体的には、スキル推定部191は、ステップS114で算出した(今回の)事後確率をmax_posteriorに入力する。また、スキル推定部191は、ステップS112で得られたRをRmaxに入力し、ステップS112で得られたZをZmaxに入力し、ステップS113で得られたθをθmaxに入力する。ステップS116の後、処理がステップS117へ進む。
<ステップS117>
スキル推定部191は、ループL11の終端処理を行う。具体的には、ループL11の繰り返し回数が、最大ループ回数に達したか否かを判定する。スキル推定部191は、ループL11の繰り返し回数が最大ループ回数に達していないと判定した場合は、ステップS112に戻り、ループL11の処理を繰り返す。一方、スキル推定部191は、ループL11の繰り返し回数が最大ループ回数に達したと判定した場合は、ループL11を終了し、ステップS121へ進む。
<ステップS121>
スキル推定部191は、得られたRmax、Zmax、θmaxを処理結果として出力する。ステップS121の後、図7の処理を終了する。
以上のように、解答処理部193は、学習者が問題を解いた解答の正誤を2値のデータ(2つの値をとるデータ)で示す正誤データを取得する。スキル推定部191は、問題を解くために必要なスキル毎に当該スキルを学習者が保持しているか否かを示す2値の確率変数(2つの値をとる確率変数)で表すモデルを用いて、正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定する。これにより、学習支援システム1では、問題スキルRの推定結果をもとに、それぞれのスキルの内容を人間が比較的容易に解釈することができるようになる。
また、スキル推定部191は、学習者が保持しているスキルの履歴を確率変数で表すモデルを用いて解を探索する。ユーザが問題を解くことによってスキルが向上することが見込まれる。スキル推定部191は、スキルの向上を模擬してスキルの推定を行うことができ、この点で、より高精度にスキルの推定を行うことができる。
また、スキル推定部191は、問題を解くために必要なスキルを示す確率変数およびモデルのパラメータを引数として学習者が保持しているスキルを示す確率変数の値を求める関数に基づいて、学習者が保持しているスキルを示す確率変数が解探索空間から除外された解探索を行う。これにより、ある問題スキルRから別の問題スキルR’がサンプリングされる確率が非常に小さくなることを防ぐことができるため、現実的な時間で解の探索が行える。
なお、スキル推定部191が、Zu,kの値が0から1に変わるステップを範囲で持つようにしてもよい。Zu,kの値が0から1に変わるステップの候補が複数存在する場合がある。そこで、Zu,k=[4,6]のように、Zu,kの値が0から1に変わるステップの候補を示すようにしてもよい。
また、スキル推定部191が、Kの値を自動推定するようにしてもよい。例えば、正誤データを学習用データとテスト用データとに分けておく。そしてスキル推定部191は、テスト用データを用いていろいろなKの値についてスキルの推定を行い、推定精度が最も良かったKの値を採用する。
具体的には、スキル推定部191は、「K=2,・・・,K_max」までの各Kの値について推定を行い、それぞれについてRmaxおよびθmaxを取得する。K_maxは、Kの上限値として予め定められている整数の定数(K_max≧3)である。そして、スキル推定部191は、テスト用のデータの正誤Xについて、X (t>T)の部分をサンプリングにより予測する。Xは、正誤Xの部分行列(ベクトル)であり、ユーザuが問題を解いた正誤を示す。X (t>T)は、Xのうちt>Tの部分である。Tは、予め定められた整数の定数(T≧2)である。スキル推定部191は、予測精度が最も良かったKの値を採用する。また、θのサンプリングに代えて、θの期待値を用いるようにしてもよい。
本発明の実施形態の適用例として、ユーザのスキルに応じた問題を提供してもよい。例えば、問題に対するユーザの解答が不正解であった場合、その問題を解くために必要なスキルをユーザが全て保持しているか否かを判定する。ユーザが保持していないスキルが有れば、そのスキルを必要とする問題を提供する。一方、その問題を解くために必要な問題を全て保持している場合、ケアレスミス、或いは、問題に不慣れ等の原因が考えられるので、同様のスキルの問題をさらに提供する。
また、問題に対するユーザの解答が正解であった場合も、その問題を解くために必要なスキルをユーザが全て保持しているか否かを判定する。ユーザが保持していないスキルが有れば、そのスキルを必要とする問題を提供し、偶然解けたのか、そのスキルを既に習得済みかを判定することができる。一方、その問題を解くために必要なスキルを全て保持している場合、他のスキルを必要とする問題を提供する。
また、本発明の実施形態の適用例として、問題の体系化の補助を行ってもよい。専門家が有している経験的な知識の学習等では、問題が体系化されていないことが多い。このような場合、本発明の実施形態による問題スキルの推定を用いることで、どの問題とどの問題とに必要なスキルが共通するかを推定することができる。必要なスキルが共通する問題を纏めて問題の体系化を行ってもよい。
次に、図8および図9を参照して本発明の一つの実施形態の構成について説明する。図8は、本発明の一つの実施形態に係るスキル推定装置の構成の例を示す。図8に示すスキル推定装置10は、正誤データ取得部11と、スキル推定部12とを備える。
かかる構成にて、正誤データ取得部11は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する。スキル推定部12は、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、正誤データに基づく事後確率を最大化する解を探索して、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定する。モデルは、問題を解くために必要なスキル毎に、当該スキルが特定の問題を解くために必要か否かを示す2値の確率変数で表すモデルと、問題を解くために必要なスキル毎に、当該スキルを学習者が保持しているか否かを示す2値の確率変数で表すモデルとを含んでもよい。
これにより、スキル推定装置10では、問題スキルの推定結果をもとに、それぞれのスキルの内容を人間が比較的容易に解釈できるようになる。
図9は、本発明の実施形態に係る学習支援装置の構成の例を示す。図9に示す学習支援装置20は、正誤データ取得部21と、スキル推定部22と、問題選択部13とを備える。かかる構成にて、正誤データ取得部21は、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する。スキル推定部22は、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定する。問題選択部23は、スキル推定部22の推定結果に基づいて、学習者に提示する問題を選択する。
これにより、学習支援装置20では、問題スキルの推定結果をもとに、それぞれのスキルの内容を人間が比較的容易に解釈できるようになる。また、学習支援装置20では、ユーザのスキルに応じた問題を提供することができ、この点で適切な問題をユーザに提供できる。
サーバ側制御部190の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することで各部の処理を行ってもよい。ここでいう「コンピュータシステム」は、OSや周辺機器等のハードウェアを含む。
「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
この出願は、2017年10月13日に出願された日本国特願2017−199796を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、スキル推定装置、学習支援装置、スキル推定方法およびプログラムに適用してもよい。
1 学習支援システム
10 スキル推定装置
11、21 正誤データ取得部
12、22、191 スキル推定部
20、100 学習支援装置
23、192 問題選択部
110 サーバ側通信部
180 サーバ側記憶部
190 サーバ側制御部
193 解答処理部
200 端末装置
210 端末側通信部
220 表示部
230 操作入力部
280 端末側記憶部
290 端末側制御部
900 通信ネットワーク

Claims (7)

  1. 学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、
    問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、
    を備えるスキル推定装置。
  2. 前記スキル推定部は、前記学習者が保持しているスキルの履歴を前記確率変数で表すモデルを用いて前記解を探索する、
    請求項1に記載のスキル推定装置。
  3. 前記スキル推定部は、問題を解くために必要なスキルを示す確率変数およびモデルのパラメータを引数として学習者が保持しているスキルを示す確率変数の値を求める関数に基づいて、学習者が保持しているスキルを示す確率変数が解探索空間から除外された前記解を探索する、
    請求項1または請求項2に記載のスキル推定装置。
  4. 前記モデルは、問題を解くために必要なスキル毎に、当該スキルが特定の問題を解くために必要か否かを示す2値の確率変数で表すモデルと、問題を解くために必要なスキル毎に、当該スキルを学習者が保持しているか否かを示す2値の確率変数で表すモデルとを含む
    請求項1から3のいずれか一項に記載のスキル推定装置。
  5. 学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得する正誤データ取得部と、
    問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定するスキル推定部と、
    前記スキル推定部の推定結果に基づいて、学習者に提示する問題を選択する問題選択部と、
    を備える学習支援装置。
  6. 装置が、学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、
    前記装置が、問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、
    を含むスキル推定方法。
  7. コンピュータに、
    学習者が問題を解いた解答の正誤を2値のデータで示す正誤データを取得することと、
    問題を解くために必要なスキル、および、学習者が保持しているスキルを、スキル毎に当該スキルの有無を示す2値の確率変数で表すモデルを用いて、前記正誤データに基づく事後確率を最大化する解を探索することによって、問題を解くために必要なスキル、および、学習者が保持しているスキルを推定することと、
    を実行させるためのプログラム。
JP2019547940A 2017-10-13 2018-08-30 スキル推定装置、学習支援装置、スキル推定方法およびプログラム Active JP6940184B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017199796 2017-10-13
JP2017199796 2017-10-13
PCT/JP2018/032132 WO2019073712A1 (ja) 2017-10-13 2018-08-30 スキル推定装置、学習支援装置、スキル推定方法およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019073712A1 JPWO2019073712A1 (ja) 2020-07-30
JP6940184B2 true JP6940184B2 (ja) 2021-09-22

Family

ID=66101369

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019547940A Active JP6940184B2 (ja) 2017-10-13 2018-08-30 スキル推定装置、学習支援装置、スキル推定方法およびプログラム

Country Status (2)

Country Link
JP (1) JP6940184B2 (ja)
WO (1) WO2019073712A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5017941B2 (ja) * 2006-06-27 2012-09-05 オムロン株式会社 モデル作成装置および識別装置
JP4883720B2 (ja) * 2008-05-29 2012-02-22 日本電信電話株式会社 教材提示装置、教材提示方法、教材提示プログラムおよびそのプログラムを記録した記録媒体
JP5664978B2 (ja) * 2011-08-22 2015-02-04 日立コンシューマエレクトロニクス株式会社 学習支援システム及び学習支援方法
JP5946073B2 (ja) * 2014-11-07 2016-07-05 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 推定方法、推定システム、コンピュータ・システムおよびプログラム
JP6640068B2 (ja) * 2016-02-12 2020-02-05 日本電信電話株式会社 ユーザインタフェース情報提供装置、ユーザインタフェース変更装置、ユーザインタフェース情報提供方法、ユーザインタフェース変更方法、及びプログラム

Also Published As

Publication number Publication date
JPWO2019073712A1 (ja) 2020-07-30
WO2019073712A1 (ja) 2019-04-18

Similar Documents

Publication Publication Date Title
JP7316453B2 (ja) オブジェクト推薦方法及び装置、コンピュータ機器並びに媒体
US11348031B2 (en) Modeling mastery in distributed cognitive systems and storing the results in a ledger
KR102015075B1 (ko) 학습 효율을 기반으로 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 방법, 장치 및 컴퓨터 프로그램
CN111680216B (zh) 一种试题推荐方法、系统、介质及设备
CN114098730B (zh) 基于认知图谱的认知能力测试和训练方法、装置、设备和介质
CN110704732A (zh) 基于认知诊断的时序性习题推荐方法
CN112231373B (zh) 知识点数据的处理方法、装置、设备和计算机可读介质
CN112119410B (zh) 用于用覆盖引导模糊测试调试神经网络的系统和方法
JP2016109981A (ja) 学習管理システムおよび学習管理方法
CN113205281A (zh) 一种基于场景模拟的人员能力评价方法及相关设备
CN112199476B (zh) 在会话智能导师系统中部分正确答案后选择支架的自动决策
CN108629355A (zh) 用于生成工作量信息的方法和装置
CN112052393A (zh) 一种学习方案推荐方法、装置、设备和存储介质
Pujianto et al. Predicting high school graduates using naive Bayes in state university entrance selections
KR101836206B1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN117373620A (zh) 认知训练内容的确定方法、装置、计算机设备及介质
JP6940184B2 (ja) スキル推定装置、学習支援装置、スキル推定方法およびプログラム
Cui et al. Do We Fully Understand Students' Knowledge States? Identifying and Mitigating Answer Bias in Knowledge Tracing
Mueller et al. Improving users' mental models of intelligent software tools
KR20200021329A (ko) 유아 성장 관찰 서비스 시스템
KR20180127188A (ko) 개인 맞춤형 교육 컨텐츠를 제공하기 위한 기계학습 프레임워크 운용 방법, 장치 및 컴퓨터 프로그램
CN113827243B (zh) 注意力评估方法及系统
JP7244056B2 (ja) 実技レベルの達成条件の判定装置、判定方法、プログラム、および記録媒体
JP2024002007A (ja) 情報処理装置、情報処理システム、情報処理方法、および、プログラム
Boschetti et al. Complexity of a modelling exercise: A discussion of the role of computer simulation in complex system science

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210105

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210826

R150 Certificate of patent or registration of utility model

Ref document number: 6940184

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150